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“James Whittaker 长 期 以 来 一 直 都 能 准确 把 握 测试 领域 的 发 展 脉 
捕 ， 在 这 个 云 计算 变革 浪潮 泗 涌 的 时 代 ， 不 论 对 Google 员 工 ， 还 是 对 
其 他 任何 测试 人 员 来 说 ， 这 本 书 都 是 紧 跟 时 代 、 保 持 竞 争 力 的 必 读 书 
JE o” 
Sam Guckenheimer， 微 软 Visual Studio 产 品 及 战略 负责 

“Google 一 贯 是 测试 领域 的 创新 者 一 一 无 论 是 对 手工 测试 与 目 动 
化 测试 的 结合 、 本 地 团队 与 外 包 资 源 的 融合 ， 还 是 近来 开创 性 地 用 真 
实 场景 测试 补充 实验 室 场 景 测试 等 方面 。 这 种 对 创 狐 的 海 望 帮助 
Google 解 决 了 很 多 新 问题 ， 更 好 地 发 布 了 产品 应 用 。 这 本 书 中 ，James 
Whittaker 系 统 地 摘 绘 了 Google 是 如 何在 快速 发 展 的 软件 测试 领域 取得 
成 功 的 。” 
Doron Reuveni, uTest CEO 及 联合 创始 人 

“这 本 书 改变 了 游戏 规则 ， 从 版 本 的 每 日 发 布 到 平视 显示 器 (E 
TE: 平视 显示 器 是 一 种 飞行 辅助 仪器 。 飞 行 员 透 过 座舱 正 前 方 组 合 玻 
璃 上 的 光电 显示 装置 观察 舱 外 景物 时 ， 可 以 同时 看 到 车 加 在 外 景 上 的 
字 伯 、 图 像 等 信息 ， 方 便 随 时 察看 飞行 参数 。 这 里 指 软 件 系 统 参 数 的 
集中 显示 面板 ) 。James Whittaker 把 计算 机 科学 的 方法 应 用 到 软件 测 
试 领域 ， 这 将 成 为 未 来 软件 企业 的 标准 。 本 书 以 平实 而 饶 有 趣味 的 语 
言 风 格 撒 述 了 Google 在 流程 和 技术 上 的 创新 。 对 每 个 做 软件 开发 的 人 
来 说 ， 这 都 是 一 本 不 可 多 得 的 好 书 。” 


一 一 Michael Bachman, Google AdSense/Display 部 门 高 级 工程 经 
理 

“通过 记录 Google 测试 工程 实践 中 的 大 量 奇 思 妙 想 ， 作 者 已 经 把 
本 书 打造 成 了 现代 软件 测试 领域 的 圣经 。>” 

——— Alberto Savoia，Google 工 程 总 监 

“如 果 你 要 在 云端 发 布 代码 并 演 试 建立 一 套 保 证 产品 质量 和 用 户 满 
意 度 的 策略 ， 你 必须 仔细 研究 和 思考 本 书 中 的 方法 。” 

— Phil Waligora, Salesforce.com 

“James Whittaker 在 测试 领域 是 很 多 人 的 导师 和 有 灵感 源 录 。 如 果 没 
有 他 的 贡献 ， 我 们 在 测试 领域 不 可 能 拥有 今天 这 样 的 人 才 和 技术 。 我 
一 直 敬 县 他 的 昕 力 和 激情 。 作 为 业 弄 巨 芍 ， 他 的 作品 绝对 值得 每 位 IT 
行业 的 人 阅读 。” 

一 一 Stewart Noakes, JXEITCL4& Bis dX 

“ 当 James Whittaker 在 微软 工作 的 时 候 我 曾 与 他 共事 。 虽 然 我 怀 
念 与 他 一 起 在 微软 的 日 子 ， 但 我 知道 他 在 Google 会 从 事 伟大 的 工作 。 
这 本 书包 含 了 各 种 创新 的 测试 理念 、 实 践 案 例 及 对 Google 测 试 体系 的 
深刻 洞察 。 任 何 对 Google 测 试 和 质量 技术 稍 感 好 奇 的 人 ， 或 有 意 发 现 
一 些 轩 新 测试 思路 的 人 ， 都 能 从 这 本 书 中 有 所 收获 。” 

一 一 Alan Page， 人 微软 XBox，《 微 软 的 软件 测试 之 道 》 的 作者 
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内 容 提要 


每 天 ，Google 都 要 测试 和 发 布 数 百 万 个 源 文件 、 亿 万 行 的 代码 。 
数 以 亿 计 的 构建 动作 会 触发 几 百 万 次 的 目 动 化 测试 ， 并 在 好 几 十 万 个 
浏览 右 实 例 上 执行 。 面 对 这 些 看 似 不 可 能 完成 的 任务 ， 谷 歌 是 如 何 测 
试 的 呢 ? 

本 书 从 内 部 视角 告诉 你 这 个 世界 上 知名 的 互联 网 公司 是 如 何 应 对 
21 世 纪 软 件 测试 的 独特 挑战 的 。 本 书 抓 住 了 Google 做 测试 的 本 质 ， 抓 
住 了 Google 测 试 这 个 时 代 最 复杂 软件 的 精华 。 本 书 描述 了 测试 解决 方 
案 ， 揭 示 了 测试 以 构 是 如 何 设计 、 实 现 和 运行 的 ， 介 绍 了 软件 测试 工 
程 师 的 角色 ; 讲解 了 技术 测试 人 员 应 该 具有 的 技术 技能 ， 曾 檬 了 测试 
工程 师 在 产品 生命 周期 中 的 职责 ; 讲述 了 测试 管理 及 在 Google 的 测试 
历史 或 在 主要 产品 上 发 挥 了 重要 作用 的 工程 师 的 访谈 ， 这 对 那些 试图 
建立 类 似 Google 的 测试 流程 或 团队 的 人 受益 很 大 。 最 后 ， 本 书 还 介绍 
了 作者 对 于 Google 测 试 如 何 继 续 演进 的 见解 、Google 力 至 整个 业界 的 
测试 方向 的 一 些 预言 ， 相 信 很 多 读者 都 会 感受 到 其 中 的 洞察 力 ， 甚 至 
感到 震惊 。 本 书 可 以 作为 任何 从 事 软件 测试 人 员 到 达 目 标的 指南 。 

本 书 适 合 开发 人 员 、 测 试 人 员 、 测 试管 理 人 员 使 用 ， 也 适合 大 中 
专 院 校 相关 专业 师 生 的 学 习 用 书 ， 以 及 培训 学 校 的 教材 。 


致 中 国 谈 者 


It brings me great pleasure that the demand for this book was strong 
enough in China to make this translation possible.China is a major player in 
the software industry, and I am pleased that some of my work is available 
to the millions of software professionals in this country.May our code have 
few bugs and many adoring users! 

James Whittaker 

“看 到 这 本 书 在 中 国 的 需求 如 此 旺盛 ， 以 及 它 的 中 译 版 最 终 付 样 ， 
真 让 我 喜出望外 ， 难 以 言 表 。 在 整个 软件 产业 版 图 中 ， 中 国 占据 着 非 
常 重要 的 位 置 ， 如 有 果 说 我 的 一 些 工作 能 给 中 国 的 软件 同仁 带 来 些许 帮 
助 ， 短 甚至 哉 。 祝 愿 你 们 的 代码 少 一 些 bug， 多 一 些 萤 爱 的 用 户 。” 


James Whittaker 


译 者 序 
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部 的 工程 实践 更 是 技术 分 享 大 会 中 最 热门 的 话题 之 一 。 但 迄今 为 止 ， 
没有 一 本 书 系 统 地 介绍 Google 内 部 产品 的 研发 流程 与 模式 ， 包 括 开 
发 、 测 试 、 发 布 、 团 队 成 员 如 何 分 工 协作 等 细节 ， 直 到 《How Google 
Tests Software》 的 出 现 ， 才 使 得 我 们 有 机 会 管 中 宁 豹 ， 了 解 Google 技 
术 神 秘 之 处 。 这 也 是 我 们 翻译 这 本 书 的 第 一 个 原因 。 

正如 本 书 中 所 提 及 的 那样 ， 互 联网 的 出 现 改 变 了 许多 软件 研发 的 
模式 。 许 多 曾经 红 极 一 时 的 传统 测试 书籍 里 提 及 的 最 佳 测 试 实践 ， 在 
当前 的 环境 下 ， 效 率 会 大 大 下 降 ， 在 一 些 极 端的 情况 下 其 至 会 适 得 其 
反 。 我 目 己 就 是 一 名 测 斌 工程师， 从事 互联 网 方面 的 测试 工作 ， 对 此 
深 有 体会 ， 也 经 常 焦虑 如 何在 制约 质量 和 快速 发 布 之 间 寻 找平 衡 ， 所 
以 ， 也 特别 想 从 一 些 主流 互联 网 公司 的 测试 模式 中 得 到 启发 和 借鉴 ， 
特别 是 想 看 一 下 这 个 世界 上 最 成 功 、 增 长 速度 最 快 的 互联 网 公司 
Google， 是 如 何 应 对 互联 网 测试 挑战 的 。 通 过 翻译 这 本 书 ， 目 己 学 到 
了 更 多 感 兴趣 的 知识 。 这 也 是 我 们 翻译 这 本 书 的 第 二 个 原因 。 

James Whittaker 在 正式 撰写 本 书 身 文 版 之 前 ， 于 2011 年 1 月 在 
Google Testing Blog E ŽIA K J “How Google Test Software” 系 列 文 
革 。 当 看 到 第 一 篇 时 我 就 被 深 深 地 吸引 住 了 ， 第 一 感觉 束 是 ， 太 棱 
T! Google 测 试 团队 居然 是 这 样 组 织 的 ! 之 后 ， 随 着 这 个 系列 文章 的 


逐一 公开 ，Google 也 逐渐 揭 开 了 其 神秘 面纱 ， 让 我 对 其 测试 实践 也 有 
了 越 来 越 多 的 了 解 ， 但 了 解 的 越 多 ， 疑 惑 也 就 越 多 。 不 得 不 承认 ， 这 
儿 篇 文章 就 像 正餐 前 的 开 骨 小 末 ， 它 完全 勾 起 了 大 家 的 食欲 ， 仪 仅 依 
赖 这 几 篇 文章 完全 不 能 满足 括 探 Google 测 试 体 系 的 需求 。 在 2011 年 11 
月 的 GTAC (Google Test Automation Conference) 大 会 上 ， 我 见 到 了 
James 本 人 ， 便 聊 起 了 《How Google Test Software》 这 本 书 ，James 一 
听 到 又 有 人 在 打探 这 本 书 的 下 落 ， 乐 呵 得 嘴 都 合 不 拢 了 ， 却 卖 起 了 天 
子 来 ， 只 是 说 书 快 出 版 了 。 大 约 在 2012 年 9 月 ， 这 本 书 的 英文 版 终于 问 
世 之 后 ， 突 然 接 到 李 中 杰 (本 书 的 合 译 者 之 一 ) 的 电话 ， 问 我 为 什么 
不 去 翻译 一 下 这 本 书 呢 。 之 前 虽然 古 兴 趣 使 然 ， 做 过 那儿 篇 文章 的 翻 
译 ， 但 与 翻译 一 本 书 相 比 ， 还 是 有 些微 不 足 道 的 。 但 几经 转 力 ， 还 是 
机 缘 巧 合 地 去 做 了 这 件 事 情 ， 这 也 是 翻译 这 本 书 的 第 三 个 原因 吧 e 

最 后 要 说 的 ， 也 是 最 重要 的 一 个 原因 。 我 原本 根本 没有 这 么 大 的 
勇气 来 完成 这 件 事情 。 众 所 周知 ，James 不 仅 是 测试 领域 的 泰山 北 
斗 ， 而 且 他 顾 具 文学 功底 ， 语 言 该 谐 幽默 ， 妙 笔 生 花 ， 翻 译 他 的 书 
籍 ， 让 我 诚 悍 诚 式 ， 以 至 于 焦虑 得 昼夜 不 安 。 但 两 位 合 译 者 ， 李 中 杰 
博士 和 苹 明 ， 他 们 的 乐观 与 自信 让 本 书 的 翻译 得 以 完成 。 与 他 们 两 位 
的 合作 ， 泣 福 之 感 难以 言 表 ， 所 收获 的 也 不 仅仅 是 长 知识 那么 简单 ， 
更 有 许多 司 喜 深 藏 内 心 。 翻 译 别 人 的 书 ， 像 是 在 反刍 ， 再 精彩 也 是 在 
讲 别 人 的 故事 ， 还 是 期 待 有 于 一 日 ， 能 够 也 有 机 会 讲 讲 自己 的 故事 。 

最 后 祝愿 国内 的 读者 能 够 从 这 本 书 中 有 所 借鉴 ， 找 到 适合 目 己 现 
状 的 开发 测试 模式 。 由 于 译 者 水 平 有 限 ， 错 漏 之 处 在 所 难免 ， 看 有 灾 
受 之 处 ， 欢 迎 指正 。 


《Google 软 件 测试 之 道 》 业 界 热 评 


“Google 的 测试 理念 有 什么 与 众 不 同 ? Google 的 快速 开发 、 快 速 发 
布 的 秘密 又 是 什么 ?” 《Google 软 件 测试 之 道 》 将 Google 的 测试 、 产 品 
的 发 布 变 得 没有 那么 神秘 ， 本 书 系 统 地 介绍 了 Google 的 测试 理念 、 目 
动 化 测试 技术 、 产 品 发 布 流 程 ， 以 及 测试 团队 的 组 成 和 测试 工程 师 的 
招聘 ， 是 一 本 真心 做 技术 分 享 的 好 书 ! ” 

一 一 张 南 ，Google 中 国 测试 经 理 

“I SEA, Google 测试 就 像 一 副 完 美的 测试 画卷 展现 在 我 的 面 
前 。 没 错 ， 我 说 的 是 ‘完美 ;! 测试 领域 一 直 倡 导 的 诸多 测试 理念 ， 如 
尽早 测试 、 注 重 早期 测试 和 评审 、 注 重 测 试 人 员 技 能 等 ， 对 于 很 多 测 
试 团队 而 言 ， 是 那么 的 理想 化 ， 以 至 于 实施 起 来 困难 重重 ， 而 在 
Google 都 已 化 作 种 种 测试 实践 ， 目 然 久 现实。 感谢 译 者 的 工作 ， 让 更 
多 中 国 的 测试 人 员 可 以 从 中 借鉴 Google 测 试 的 优秀 实践 。” 
邹 晓 梅 ， 独 立 软 件 测 试 培 训 与 咨询 顾问 、 百 届 ChinaTest 大 会 


pu 3 

“我 2007 年 刚 加 入 Google 中 国 时 ， 就 被 这 家 企业 具有 的 测试 文化 深 
深 吸 引 。Google 内 将 测试 推 到 上 游 的 实践 、 内 建 质量 的 意识 ， 以 及 优 
秀 的 目 动 化 测试 实践 ， 无 一 不 让 我 觉得 兴 和 理 。 在 担任 Google 中 国 区 的 
测试 负责 人 人 期间， 我 也 多 次 癌 外 界 介绍 Google 的 测试 实践 ， 硕 望 
Google 的 实践 经 验 能 够 更 好 地 帮助 到 更 多 人 。James 的 这 本 书 详尽 地 介 
绍 了 Google 的 测试 体系 与 测试 实践 ， 是 一 本 即 系统 又 非常 ' 接 地 气 :' 的 


书 。 很 高 兴 看 到 人 民 邮 电 出 版 社 组 织 将 这 本 好 书 翻译 成 中 文 ， 相 信 每 
位 读者 都 能 从 本 书 中 受益 菲 浅 。” 

一 一 段 念 ， 豆 办 工程 副 总 裁 ， 兽 任 Google 中 国 测 试 经 理 

“这 本 介绍 Google 软件 工程 生产 力 的 好 书 值得 每 一 位 软件 测试 人 
员 和 研发 管理 者 拥有 ， 我 个 人 甚至 认为 这 是 软件 行业 十 年 难得 一 遇 的 
好 书 ， 书 中 所 描述 的 观点 、 测 斌 人员 的 价值 拓展 和 测试 技术 创新 实践 
不 仅 对 互联 网 行业 的 软件 测试 从 业 人 员 有 着 非常 好 的 借鉴 意义 ， 而 且 
也 为 其 他 行业 的 软件 工程 人 员 提 供 了 :新 的 翅膀 '， 让 大 家 都 能 飞 得 更 
快 、 更 高 。 正 确 的 认 知 是 一 切 成 功 的 源头 ， 也 许 你 能 很 容易 找到 十 个 
拒绝 了 解 不 同 观点 的 理由 ， 但 你 依然 可 以 找到 十 个 理由 去 接受 不 同 的 
新 观点 ， 兼 听 则 明 会 让 你 的 工作 更 高 效 ， 目 己 做 得 更 开心 ， 过 得 更 充 
Xo” 

— - 重 杰 ， 百 度 在 线 网 络 技术 有 限 公 司 测试 架构 师 

“软件 测试 方法 会 产生 颠覆 性 的 变化 吗 ? 未 来 还 需要 测试 工程 师 
吗 ? 最 近 一 年 这 样 的 话题 被 持续 地 讨论 ， 我 没有 结论 ， 但 是 我 觉得 与 
其 蝶 哎 不 休 地 和 争论， 不 如 证 我 们 看 看 世界 级 的 IT 企业 Google 是 如 何 做 
测试 的 。 通 过 本 书 让 我 们 理解 了 Google 的 测试 理念 ， 理 解 了 Google 的 
工程 师 文化 ， 从 中 你 能 发 现 更 适合 你 的 测试 方法 ! ” 

一 质 煌 ， 领 测 国际 创始 人 

“这 本 书 是 我 推荐 读者 了 解 人 敏捷 测试 思想 和 技术 的 第 一 读物 ， 没 有 
之 一 。 这 本 书 的 内 容 全 部 来 自 一 线 实际 经 验 ， 而 非 理论 空谈 。 更 为 重 
要 的 是 ， 它 传递 了 一 种 非常 重要 的 理性 质量 观 ， 同 时 还 对 如 何 将 这 种 
理性 质量 观 落 地 给 出 了 非常 具体 的 建议 。” 

一 一 甘 容 ， 敏 捷 咨 询 师 (在 敏捷 测试 、 自 动 化 测试 方面 有 深入 人 研 
F) 

“对 于 互联 网 公司 ， 在 快速 前 进 中 保持 高 质量 是 一 个 永恒 的 难题 ， 
在 去 哪儿 网 内 部 ， 开 发 工程 师 、 产 品 经 理 都 需要 参加 测试 ， 以 此 来 提 


醒 一 一 质量 是 所 有 人 的 事情 而 不 只 是 测试 团队 的 事情 ， 但 是 ， 依 然 有 
太 多 的 质量 问题 和 实施 中 的 难题 没 办 法 解决 。 本 书 可 以 给 那些 关注 如 
何在 此 困境 中 突围 的 人 们 很 多 启发 。” 

一 一 匡 永 强 ， 去 哪儿 网 CTO 

“感谢 译 者 翻译 了 这 本 测试 业内 的 经 典 之 作 ， 让 国内 的 测试 团队 能 
够 快速 理解 国际 测试 的 发 展 并 跟 上 国际 市 奏 。 我 有 滁 先 阅读 了 本 书 的 
部 分 内 容 ， 对 Patrick Copeland 在 序 中 描述 的 测试 变革 的 心路 历程 深 有 
FEMS: TRES RBH AHA MAE, FEMA A Ae 
ME; 团队 的 变革 开发 团队 不 接受 ， 测 试 团队 也 不 买账 。 同 时 ， 我 们 面 
临 的 挑战 比 Google 更 大 ， 我 们 不 仅 要 做 好 目 动 化 ， 做 好 持续 集成 ， 做 
好 测试 工具 ， 做 好 研发 生产 力 ， 我 们 还 要 将 测试 技术 与 产品 和 业务 结 
合 ， 促 进 集团 内 产品 和 业务 的 发 展 。 因 此 ， 与 Google 的 测试 人 员 相 
比 ， 我 们 不 仅 要 具备 开发 能 力 、 测 斌 思维， 还 要 具备 业务 思维 ， 能 深 
刻 理解 业务 所 服务 的 客户 需求 及 客户 价值 。 做 好 工程 ， 更 要 做 好 业 
务 ! 加 油 ! ” 

— — - 夏 林 娜 ， 阿 里 巴巴 集团 测试 总 监 

“互联 网 快速 响应 变化 的 需求 彻底 颠覆 了 传统 的 软件 开发 和 测试 模 
式 ， 敏 捷 、 持 续 构建 和 开发 目测 等 成 为 测试 行业 的 热点 话题 。Google 
无 疑 走 在 测试 变革 的 最 前 沿 ， 并 已 经 在 互联 网 领域 产生 广泛 的 影响 并 
拥有 大 批 拥 鼻 。Google 的 全 新 测试 理念 和 组 织 形式 非常 值得 国内 的 同 
行 借鉴 。” 

一 XZ), FPP BRAM 

“或 许 有 人 会 质疑 ， 互 联网 公司 也 可 以 有 很 好 的 测试 吗 ? 此 书 可 能 
会 改变 他 们 的 观点 。 第 一 ， 本 书 第 一 作者 James Whittaker 是 一 个 在 微 
软 接受 了 最 正统 测试 理念 的 人 ， 又 从 互联 网 的 视角 解读 测试 ， 这 让 他 
的 观点 金 面 而 具有 说 服 力 ; 第 二 ， 这 本 书 的 中 文 翻译 非常 出 色 ， 读 起 


来 像 测试 行家 如 数 家 珍 。 所 以 ， 我 强烈 推荐 本 书 ，Google 的 测试 不 一 
定 征 最 出 色 的 ， 但 这 本 书 是 。” 

一 一 熔 阿 峰 ， 测 试 圈 儿 里 那个 说 相声 的 

“我 和 本 书 的 三 位 作者 在 西雅图 有 很 多 交流 ， 并 曾经 共事 。James 
Whittaker 是 软件 测试 界 强 有 力 的 执行 者 、 探 索 者 和 思考 者 。 本 书 是 他 
和 另外 两 位 作者 在 Google 工 作 的 全 面 、 详 细 总 结 和 提炼 。 他 们 从 软件 
测试 开发 工程 师 、 软 件 测试 工程 师 以 及 测试 经 理 三 个 不 同 角 色 出 发 ， 
详细 阐述 了 Google 软 件 测试 之 道 ， 给 企业 ， 特 别 是 互联 网 企业 在 如 何 
测试 、 如 何 你 证 产品 质量 等 方面 提供 了 很 好 的 参考 。 同 时 开阔 了 我 们 
的 视野 ， 让 我 们 对 软件 测试 的 职 贡 、 手 段 和 未 来 发 展 有 所 思考 。” 


Bill Liu, Software Design Engineer in Test,Amazon 


关于 这 本 书 


在 Patrick Copeland R ENRE ARERR, RAER, Hè 
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写 这 本 书 的 最 佳 候选 Googler 〈 他 们 也 的 确 怀 疑 过 ) 。 有 着 太 多 的 人 想 
参与 到 这 本 书 的 撰写 之 中 (后 来 也 证 实 的 确 如 此 ) 。 但 更 重要 的 是 ， 
我 之 前 出 版 的 一 些 书籍 多 数 是 给 初学 新 手 看 的 ， 像 “How to Break” 系 列 
和 《Exploratory Testing》， 都 是 在 从 头 到 尾 讲 一 个 完整 的 故事 。 这 本 
书 并 不 是 这 样 。 读 者 可 能 坐 着 一 口气 读 完 ， 但 其 实 它 更 适合 作为 一 本 
参考 书 ， 一 本 介绍 Google 是 如 何 完 成 大 小 规模 不 一 的 测试 任务 的 参考 
书 。 我 希望 本 书 的 读者 是 一 些 已 经 在 公司 从 事 测试 工作 的 人 ， 而 不 是 
一 些 初 学 者 ， 他 们 会 有 一 些 基础 ， 并 会 比较 Google 的 流程 与 他 们 所 使 
用 的 流程 之 间 的 区 别 ， 这 样 他 们 的 收获 更 大 。 我 懂 悍 着 经 验 丰 定 的 测 
斌 人员、 测试 经 理 、 管 理 者 能 够 随手 拿 起 这 本 书 ， 找 一 些 感 兴趣 的 话 
题 ， 看 一 下 在 某 些 方面 Google 是 如 何 做 的 。 这 可 真 不 是 我 惯用 的 写作 
风格 。 

在 此 之 前 从 没有 写 过 书 的 两 位 工程 师 ， 为 了 这 本 书 ， 加 入 进来 共 
同 努力 。 这 两 位 都 是 优秀 的 工程 师 ， 他 们 在 Google 的 工作 年 限 都 比 我 
K ° Jason Arbon 的 职位 是 TE (测试 工程 师 ) ， 但 他 内 心 深 处 有 着 创业 
情怀 ， 在 本 书 “ 测 试 工程 师 ” 这 一 章 中 出 现 的 许多 工具 和 想法 ， 都 深 受 
他 的 有 影响。 我 们 有 六 一 起 共事 ， 并 彼此 从 对 方 员 上 受益 民 多 。Jeff 
Carollo 也 是 一 名 测试 人 员 ， 但 后 来 转 做 开发 了 。Jeff Carollo 是 我 见 过 
的 最 优秀 的 那 一 类 SET (软件 测试 开发 工程 师 ， ， 也 是 少数 儿 个 我 认 


识 的 那 种 可 以 写 出 “ 目 动 化 之 后 束 不 用 再 参与 ”的 代码 的 人 之 一 ， 他 的 
测试 代码 写 得 非常 棒 ， 可 以 独立 运行 不 需要 任何 干预 。 我 与 这 两 位 才 
华 横 光 的 人 共同 写作 ， 并 在 风格 上 尽 可 能 地 达成 一 致 。 

有 许多 Googler 提供 了 资料 。 当 资料 中 的 文字 和 标题 是 同一 个 人 
的 工作 时 ， 我 们 会 在 标题 中 把 这 个 人 标记 一 下 。 还 有 许多 对 Google 测 
试 发 挥 了 深刻 影响 的 人 ， 我 们 针对 这 些 人 做 了 一 些 采 访 。 这 是 我 们 能 
想到 的 最 好 的 、 让 尽 可 能 多 的 曾经 定义 了 Google 测 试 的 人 参与 进来 的 
方法 ， 而 不 古 搞 一 本 由 30 个 人 合 闭 而 成 的 书 。 不 一 定 所 有 的 读者 对 这 
些 访谈 都 感 兴趣 ， 但 在 书 中 可 以 很 清晰 地 找到 这 些 访谈 的 起 止 位 置 ， 
以 便 选 择 跳 过 这 一 部 分 ， 或 者 专门 找到 这 部 分 来 阅读 。 我 们 同样 感谢 
为 数 众 多 的 页 献 者 ， 但 如 果 有 不 到 之 处 ， 也 愿 音 接受 任何 批评 。 英 语 
实在 是 一 门 贫乏 的 语言 ， 无 法 用 它 搬 述 出 这 些 工作 是 多 么 地 卓越 和 辉 
fe e 

快乐 岗 读 ， 快 乐 测试 ， 祝 愿 你 总 能 发 现 GHEE) bug 

James Whittaker 


Jason Arbon 
Jeff Carollo 

献 给 Google、Microsoft 和 全 世界 给 我 局 发 的 测试 人 员 e 

James Whittaker 

献 给 我 的 妻子 Heather 和 我 的 孩子 们 Luca、Mateo ^ Dante 和 

Odessa, (Ei ]— EAA AE IRI CE Ee EELE e 

Jason Arbon 

献 给 我 的 妈妈 、 和 爸爸 、Lauren 和 Alex。 

Jeff Carollo 


致谢 


我 们 想 感 谢 那些 不 知 疲倦 地 、 致 力 于 质量 改进 的 Google 工 程 师 
们 。 同 样 ， 也 非常 感谢 Google 开 放 的 工程 和 管理 文化 ， 在 对 待 测试 方 
法 与 实践 方面 与 Google 打 造 其 他 产品 如 出 一 糙 ， 人 允许 不 断 创新 以 及 天 
马 行 空 般 目 由 思维 的 存在 。 

在 这 里 要 特别 向 那些 投入 巨大 精力 并 勇于 承担 风险 将 测试 推 向 云 
端的 人 们 有 致敬， 他 们 是 Alexis O.Torres,Joe Muharksy,Danielle 
Drew,Richard Bustamante,Po Hu,Jim Reardon,Tejas Shah,Julie Ralph,Eriel 
Thomas,Joe Mikhail,Ibrahim El Far。 还 要 感谢 我 们 的 编辑 Chris 
Guzikowski 和 Chris Zahn， 他 们 一 直 非 常 有 念 貌 地 在 容忍 我 们 这 些 工程 
师 的 咏 叫 。 感 谢 那些 受 访 者 在 书 中 分 享 他们 的 观点 与 经 验 ， 他 们 是 
Ankit Mehta,Joel © Hynoski,Lindsay X Webster Apple “Chow,Mark 
Striebeck,Neal Norwitz,Tracy Bialik,Russ Rufer,Ted Mao,Shelton 
Mar,Ashish Kumar,Sujay Sahni,Brad Green,Simon Stewart,Hung Dang ° 
特别 要 感谢 一 下 Alberto Savoia, EERE M RHIAN AN ROM 
了 今日 Google 快 速 发 布 的 文化 。 感 谢 Google 和 餐厅 的 工作 人 员 ， 他 们 提 
供 了 美味 的 餐饮。 感谢 Phil Waligora,Alan Page,Michael Bachman， 他 们 
为 本 书 提供 了 率直 坦诚 的 反馈 。 最 后 ， 要 特别 感谢 Pat Copeland， 是 他 
将 来 自 五 湖 四 海 且 充 满 激情 的 各 路 精英 汇集 于 此 ， 并 投身 于 质量 方面 
的 不 断 改 进 工作 。 


FF 


Alberto Savoia 
谷歌 工程 总 监 

为 一 本 你 曾经 想 目 己 去 撰写 的 书 去 做 序 ， 是 一 种 尴 俯 的 采 誉 ， 这 
种 感觉 有 点 像 你 被 邀请 去 为 好 友 做 伴 即 ， 但 新 女 却 是 你 曾经 心爱 的 姓 
女 。 但 是 James Whittaker 却 是 一 个 聪明 的 家 伙 ， 在 他 问 我 是 否 愿意 为 
这 本 书写 序 之 前 ， 先 请 我 吃 了 一 屯 我 非常 喜欢 的 墨西哥 晚餐 ， 并 让 我 
喝 了 几 杯 墨西哥 Dos Equis 啤 酒 。 当 我 还 沉 漫 在 牛 油 果 酱 认 来 的 愉悦 
时 ， 他 终于 提出 了 这 个 请 求 ， 在 当时 那 种 气氛 下 ， 我 只 能 强 作 欢颜 并 
答应 了 他 : A A "HEB Up uim" D. TU BE STR” 
本 书 ， 一 起 站 在 一 边 ， 而 我 却 不 得 不 在 这 里 为 他 们 的 婚礼 做 致辞 。 

正如 我 说 过 的 ， 他 是 一 个 聪明 的 家 伙 。 

让 我 继续 写 这 篇 序 吧 ， 为 这 本 我 曾 想 目 己 写 的 书 。 

这 个 世界 上 真 的 还 需要 男 外 一 本 天 于 软件 测试 的 书 吗 ? 特别 是 
James Whittaker， 这 个 高 产 的 家 伙 ， 一 个 我 曾经 不 止 一 次 公开 地 称 其 
为 测试 书籍 出 版 界 高 产 的 “< 八 胞 胎 妈 妈 ”( 译 注 : 不 知道 * 八 胞 胎 妈 妈 

(Octomom) ”是 什么 意思 ? Google 一 下 你 就 知道 ) ， 还 需要 他 的 这 人 么 
一 本 软件 测试 书 吗 ? 那 种 讲述 陈旧 得 令 人 厌烦 的 测试 方法 学 和 宣扬 一 
些 可 疑 、 过 时 的 建议 的 书 还 少 吗 ? 是 的 ， 这 样 的 书 已 经 足够 多 了 ， 但 
我 认为 这 本 书 绝 非 如 此 。 这 也 是 我 想 上 自己 去 写 它 的 原因 ， 这 个 世界 很 
需要 这 样 一 本 独特 的 测试 书 。 


这 


互联 网 的 出 现 急 剧 地 改变 了 许多 软件 设计 、 开 发 和 发 布 的 方式 。 
很 多 曾经 红 极 一 时 的 测试 书籍 里 提 及 的 最 佳 测试 实践 ， 在 当前 的 环境 
下 效率 会 大 大 下 降 ， 或 者 宫 无 效果 ， 甚 而 在 某 些 情况 下 会 事与愿违 地 
起 反作用 。 在 互联 网 和 软件 产业 ， 一 切 变 化 都 如 此 迅速 ， 以 至 于 许多 
最 近 几 年 才 出 版 的 软件 测试 方面 的 书籍 都 已 陈腐 过 时 ， 打 个 比方 ， 它 
们 束 像 讲述 水 是 吸血 和 开 颅 驱赶 恶 风 的 外 科 手 术 书 一 样 。 对 付 这 种 
书 ， 最 好 的 办 法 就 是 直接 把 它们 扔 挥 ， 或 者 做 些 有 益 的 事情 ， 例 如 ， 
循环 再 利用 ， 做 出 纸尿裤 来 ， 以 防止 流落 到 容易 上 当 受 骗 的 人 之 手 。 

考虑 到 软件 产业 的 发 展 速度 如 此 之 快 ， 如 果 说 十 年 后 这 本 书 也 过 
气 了 ， 那 一 点 儿 也 不 奇怪 。 但 在 下 次 混 潮 来 临 之 前 ， 这 本 书 可 以 既 适 
时 又 适用 地 从 内 部 视角 告诉 你 这 个 世界 上 最 成 功 、 增 长 速度 最 快 的 互 
联网 公司 之 一 ， 是 如 何 应 对 21 世纪 软件 测试 的 独特 挑战 的 。James 
Whittaker 和 他 的 伙伴 们 ， 抓 住 了 Google 如 何 做 测试 的 本 质 ， 抓 住 了 
Google 如 何 测 试 我 们 这 个 时 代 最 复杂 和 流行 软件 的 精华 。 我 之 所 以 了 
解 这 些 ， 是 因为 我 从 头 到 尾 经 历 了 这 个 伟大 的 转变 。 

我 于 2001 年 以 工程 总 监 的 号 份 加 入 Google。 当 时 ，Google 大 概 有 
200 名 开发 人 员 ， 但 只 有 区 区 3 位 测试 人 员 ! 那个 时 候 ， 开 发 人 员 已 经 
开始 做 自己 代码 的 测试 了 ， 但 由 于 测试 驱动 开发 的 模式 才刚 刚 开 始 ， 
而 且 像 JUnit 这 样 的 测试 框架 也 没有 大 规模 使 用 。 当 时 的 测试 主要 是 
在 做 一 些 随 机 测试 (ad-hoc testing) ， 其 好 坏 取 决 于 编写 代码 的 开发 
者 的 责任 心 。 但 即使 那样 也 是 可 以 接受 的 ， 因 为 ， 当 时 正 处 在 创业 阶 
段 ， 必 须 快 速 前 进 并 勇于 冒险 ， 否 则 束 无 法 和 那个 时 代 已 经 非常 强大 
的 对 手 竞 争 。 

然而 ， 当 Google 逐 渐 成 长 变 大 ，Google 的 一 些 产 品 对 于 最 终 用 户 
和 客户 来 说 开始 变 得 至 关 重 要 〈 例 如 ， 竞 价 广告 产品 ， 我 曾经 负责 的 
产品 ， 很 快 变 成 许多 网 站 的 主要 收入 来 源 ) ， 我 们 清晰 地 认识 到 必须 
加 大 对 测试 的 关注 和 投入 。 但 只 有 3 个 测试 工程 师 ， 别 无 选择 ， 只 能 让 


开发 来 做 更 多 的 测试 。 与 其 他 的 几 个 Googler (译注 : Google TL, A 
书 中 一 般 指 Google 工 程 师 ) 一 起 ， 我 们 介绍 、 培 训 、 推 行 单元 测试 ， 
我 们 鼓励 开发 人 员 把 测试 作为 优先 级 较 高 的 事 去 做 ， 并 建议 使 用 一 些 
工具 ， 如 JUnit， 把 测试 做 成 目 动 化 的 。 但 是 进展 缓慢 ， 并 非 所 有 的 人 
都 接受 、 认 同 开发 人 员 去 做 测试 这 件 事 情 。 为 了 继续 保持 这 个 势头 ， 
在 每 周 五 下 午 公 司 的 啤酒 狂欢 时 (译注 : TGIF, Thank God It’s 
Friday，Google 在 每 周 五 下 午 举 行 全 员 聚 会; ， 我 们 为 一 些 做 测试 的 
开发 人 员 颁 发 奖品 来 油 励 大 家 。 但 这 种 感觉 不 是 很 好 ， 有 点 像 杂 技 训 
角 师 在 小 狗 完 成 菜 个 动作 后 给 一 些 奖励 一 样 ， 但 这 样 至 少 还 是 把 大 家 
的 注意 力 吸 引 到 测试 上 了 。 会 如 此 溺 运 吗 ? 如 此 简单 就 可 以 让 开发 做 
测试 了 ? 

很 不 入 的 是 这 招 根本 不 管用 。 开 发 人 员 发 现 ， 为 了 测试 充分 ， 他 
们 不 得 不 针对 每 一 行 功能 代码 ， 写 两 到 三 行 的 单元 测试 代码 ， 而 且 这 
些 测试 代码 和 功能 代码 一 样 都 需要 维护 ， 且 有 着 相同 的 出 错 概率 。 而 
且 大 家 也 意识 到 ， 仅 做 单元 测试 是 不 够 的 ， 仍 然 需要 集成 测试 、 系 统 
测试 、 用 户 界 面 等 方面 的 测试 。 当 真正 开始 要 去 做 测试 的 时 候 ， 会 发 
现 测试 工作 量变 得 非常 大 〈 且 需要 很 多 知识 的 学 习 ) ， 并 要 求 在 很 短 
的 时 间 内 完成 测试 ， 要 以 “迅雷 不 及 抗 耳 ”之 势 完成 。 

我 们 为 什么 要 在 很 短 的 时 间 内 迅速 地 完成 测试 呢 ? 我 一 直 这 么 认 
为 ， 对 于 一 个 坏 点 子 或 考虑 灾 周 的 产品 ， 即 便 再 多 的 测试 ， 也 无 法 把 
它 变 成 一 个 成 功 的 产品 。 但 如 果 测 试 方法 不 当 ， 却 会 扼杀 一 个 本 来 有 
机 会 成 功 的 产品 或 公司 ， 至 少 会 拖 慢 这 个 产品 的 速度 ， 让 竞争 对 手 有 
机 可 乘 。Google 当 时 正 处 于 这 样 的 紧要 关头 ， 测 试 已 经 成 为 Google 持 
续 成 功 道路 上 的 最 大 障碍 。 此 时 ， 我 们 需要 正确 的 测试 策略 来 满足 产 
品 、 用 户 和 员工 快速 增长 的 需要 ， 不 拖 慢 公司 前 进 的 步伐 。 这 样 的 测 
试 策略 会 涉及 大 量 的 创新 性 方法 、 非 常规 的 解决 方案 和 独特 的 工具 。 
当然 ， 并 非 所 有 的 策略 都 生效 了， 但 在 这 个 过 程 中 ， 我 们 得 到 了 宝贵 


的 经 验 和 教训 ， 这 对 于 其 他 像 Google 一 样 快 速成 长 的 公司 来 说 也 是 非 
常 有 帮助 的 。 我 们 学 会 了 如 何在 保持 正常 的 开发 速度 的 同时 ， 让 大 家 
充分 意识 到 质量 的 重要 性 。 本 书 将 要 讲述 的 ， 正 是 这 个 过 程 中 我 们 的 
所 作 所 为 、 所 思 所 想 。 如 果 你 想 要 理解 Google 是 如 何 面 对 21 世 纪 最 新 
的 互联 网 、 移 动 和 客户 端 应 用 等 方面 的 测试 挑战 的 ， 读 这 本 书 束 对 
了 。 我 本 想 目 己 为 大 家 讲述 整个 故事 ， 但 James Whittaker 和 他 的 伙伴 
却 抢 先 了 一 步 ， 他 们 已 经 摸索 出 了 Google 测 试 的 精髓 。 

关于 这 本 书 ， 最 后 要 说 明 一 点 : 是 James Whittaker 造 就 了 这 本 
书 。 他 加 入 Google， 深 入 了 解 了 Google 的 文化 ， 参 与 了 重要 的 项 目 ， 
并 发 布 了 Chrome、Chrome OS 和 其 他 许多 产品 。 有 一 段 时 间 ， 他 变 成 
了 Google 测 试 的 代言 人 。 但 是 ， 这 本 书 与 他 曾经 出 版 过 的 其 他 书籍 略 
有 不 同 ， 里 面 的 很 多 素材 都 不 是 来 自 于 他 个 人 。 他 本 人 在 Google 测 试 
演化 过 程 中 的 角色 ， 更 像 是 一 个 描绘 记录 者 ， 而 不 是 一 个 参与 页 献 
者 。 在 你 阅读 这 本 书 时 ， 一定 要 把 这 一 点 铭记 于 心 ， 因 为 James 
Whittaker 很 有 可 能 会 把 所 有 的 功劳 都 归功 于 他 自己 。 

在 Google 由 200 人 变 成 2 万 人 的 过 程 中 ， 有 许多 人 在 我 们 的 测试 战 
略 的 形成 和 实施 中 做 出 了 杰出 贡献 。James Whittaker 肯 定 了 他 们 的 页 
献 ， 在 本 书 中 以 访谈 的 形式 将 他 们 引入 书 中 。 然 而 没有 一 个 人 ， 包 括 
FÈ ` James Whittaker ， 或 者 本 书 中 提 到 的 其 他 任何 人 的 影响 力 ， 比 得 
Patrick Copeland， 他 是 我 们 今天 组 织 结构 的 架构 师 和 Google 工 程 生 
产 力 部 门 的 负责 人 ， 上 所 有 Google 的 测试 人 员 最 终 都 会 汇报 给 Patrick 。 
作为 执行 官 ， 他 以 目 己 的 想象 力 创 造 了 James Whittaker Æ% E HP fyi 
和 贡献 的 一 切 。 如 果 非 要 把 Google 今 天 的 测试 成 就 归功 于 某 人 ， 那 这 
个 人 一 定 是 Patrick。 我 这 么 说 的 原因 不 仅 在 于 他 是 我 的 老板 ， 而 且 还 
在 于 ， 作 为 我 的 老板 ， 是 他 命令 我 这 么 说 的 ! 

Alberto Savoia 是 Google 的 工程 上 总监 ， 同 时 也 是 一 位 创新 或 动 者 。 
Alberto 于 2001 年 加 入 Google， 那 个 时 候 主 要 负责 Adwords 产 品 的 发 


布 ， 同 时 他 也 是 Google* 开 发 者 /单元 测试 "这 一 文化 的 主要 缔造 者 。 他 
还 是 《The Way of Testivus》 的 作者 ， 以 及 O’Reilly 出 版 的 《Beautiful 
Code》 一 书 中 “Beautiful Tests” 一 章 的 作者 。 

X A James Whittaker 的 说 明 : 我 完全 同意 Alberto 所 说 的 一 切 。 作 
为 这 一 过 程 的 描绘 记录 者 ， 绝 大 多 数 的 材料 都 归功 于 Patrick 创 建 的 这 
个 测试 团队 。 还 有 ， 我 这 么 说 并 不 仅 是 因为 Patrick 授 权 我 写 这 本 书 。 
作为 我 的 老板 ， 是 Patrick 命 令 我 写 了 这 本 书 。 


FF 


Patrick Copeland 
合 歌 测试 和 部 署 技术 的 架构 师 

我 在 Google 的 旅程 始 于 2005 年 3 月 。Alberto 在 前 面 的 序 中 也 介绍 了 
一 些 当 时 Google 的 状况 : 虽然 公司 规模 还 比较 小 ， 但 已 开始 感受 到 成 
长 市 来 的 烦恼 。 当 时 适 着 快速 的 技术 变革 之 际 ，Web 世 界 正在 迎接 动 
态 内 容 的 到 来 ， 而 云 计算 也 正在 逐渐 成 为 一 种 新 的 选择 ， 取 代 当 时 还 
占 统 治 地 位 的 客户 机 -服务 器 架构 。 

在 加 入 Google 的 第 一 周 里 ， 我 和 其 他 Nooglers (译注 : New 
Googler， 新 加 入 Google 的 员工 ) 一 起 ， 戴 着 三 色 的 螺旋 桨 帼 ， 参 加 了 
称 为 TGIF 的 公司 每 周 例会 ， 听 创始 人 介绍 公司 战略 。 我 对 彼 时 的 工 
作 和 情形 还 知之 其 少 ， 有 些 兴 盏 ， 也 有 些 害 怕 。 在 我 之 前 10 年 的 研发 模 
式 经 历 中 ， 一 个 典型 的 交付 周期 可 长 达 5 年 ， 这 种 经 历 在 Google 的 速度 
和 规模 面前 显得 襄 无 价值 。 更 糟 糙 的 是 ， 我 觉得 目 己 是 所 有 戴 着 
Noogler 帽子 的 人 中 唯一 的 测试 人 员 。 当 然 ， 其 他 地 方 一 定 还 有 更 多 的 
测试 人 员 ! 

我 加 入 Google 的 时 候 ， 工 程 团 队 还 不 足 1000 人 。 测 试 团队 大 概 有 
50 名 全 职 人 员 和 一 些 临 时 工 ， 具 体 数 量 我 一 直 没 搞 清 楚 。 测 试 团队 当 
时 的 称谓 是 “测试 服务 ?， 工 作 重 点 在 UI 的 验证 上 ， 随 时 啊 应 不 同 项 目 
的 测试 需求 。 可 以 想象 ， 这 并 不 是 Google 最 内 浴 的 团队 。 

但 这 在 当时 已 经 足够 了 。Google 当 时 的 主要 业务 是 搜索 和 广告 ， 
规模 要 比 今天 小 得 多 ， 一 次 彻底 的 探索 式 测试 足以 发 现 绝 大 多 数 的 质 


量 问题 。 然 而 ， 世 界 在 变 ，Web 点 击 量 开始 史无前例 地 爆发 性 增长 ， 
文档 化 的 Web 正 在 让 位 于 应 用 化 的 Web。 你 可 以 感觉 到 势不可挡 的 成 
长 和 变化 ， 在 这 种 情况 下 ， 规 模 化 和 快速 进入 市 场 的 能 力 变 得 至 天 重 
要 和 生死 侯 关 。 

在 Google 内 部 ， 规 模 和 问题 的 复杂 性 给 测试 服务 团队 市 来 了 巨大 
的 压力 。 在 之 前 小 型 的 、 类 同 的 项 目 里 的 一 些 可 行 做 法 ， 现 在 却 让 优 
秀 的 测试 人 员 感 到 筋疲力尽 ， 疲 于 奔 命 在 多 个 急需 救火 的 项 目 之 间 。 
更 加 火 上 泌 油 的 是 ，Google 在 项 目 快速 发 布 方面 的 坚持 。 是 时 候 采 取 
措施 了 人， 我 面临 两 个 选择 ， 要 么 沿用 这 种 劳动 密集 型 的 流程 增加 更 多 
的 人 手 ， 要 么 改变 整个 游戏 规则 。 为 了 适应 业界 和 Google 发 生 的 巨 
变 ， 测 试 服务 团队 需要 根本 性 的 变 单 。 

我 也 很 想 说 自己 是 借助 于 丰富 的 经 验 构思 出 了 完美 的 测试 组 织 模 
型 ， 但 实事 求 是 地 讲 ， 我 从 过 去 的 经 历 中 ， 学 到 的 只 不 过 是 一 些 过 时 
的 做 法 。 我 所 工作 或 领导 过 的 每 个 测试 组 织 都 有 这 样 或 那样 的 问题 
有 问题 是 营 仿 ， 代 码 质量 很 糟糕 ， 测 试用 例 很 考 劲 ， 团 队 也 问题 多 
多 。 我 完全 清楚 那 种 被 技术 质量 俩 讨 得 喘 不 过 气 来 的 感受 ， 在 那 种 状 
态 下 ， 一 切 创新 性 的 想法 都 会 被 遇 制 ， 以 免 不 小 心 破坏 了 脆弱 的 产 
品 。 如 有 果 说 我 在 以 往 的 经 历 中 有 所 收获 的 话 ， 那 惑 是 经 历 了 各 种 错误 
的 测试 实践 。 

那个 时 候 ， 以 我 对 Google 的 了 解 ， 有 一 件 事情 是 确定 无 疑 的 ， 那 
忠 是 Google 对 于 计算 机 科学 和 编程 能 力 非 第 重视。 从 根本 上 说 ， 如 琳 
测试 人 员 想 加 入 这 个 俱乐部 ， 束 必须 具备 民 好 的 计算 机 科学 基础 和 编 
程 能 

变 车 Google 测 试 的 首要 问题 是 重新 定位 吴 为 测试 人 员 的 意义 所 
在 。 我 过 去 经 党 在 头脑 中 想象 理想 团队 的 模型 ， 想 象 这 样 的 团队 是 如 
何 肩负 起 质量 重任 的 ， 每 次 我 都 会 得 到 相同 的 结论 ， 一 个 团队 能 编写 
出 高 质量 软件 的 唯一 途径 是 全 体 成 员 共 同 对 质量 负责 ， 包 括 产 品 经 


理 、 开 发 人 员 、 测 试 人 员 等 所 有 人 。 我 认为 ， 达 到 此 目标 的 最 好 方式 
征 使 测试 人 员 有 能 力 将 测试 变 成 代码 库 的 一 个 实际 功能 ， 而 测试 功能 
的 地 位 应 该 与 真实 客户 看 到 的 任何 其 他 功能 同等 重要 。 我 所 需要 的 能 
够 实现 测试 功能 的 技能 ， 也 正 是 开发 人 员 需 要 具备 的 技能 。 

招聘 具备 开发 能 力 的 测试 人 员 很 难 ， 找 到 公测 试 的 开发 人 员 束 更 
难 ， 但 是 维持 现状 更 有 要命 ， 我 只 能 往 前 走 。 我 希望 测试 人 员 能 为 他 们 
的 产品 做 更 多 的 事情 ， 同 时 ， 我 希望 演变 测试 工作 的 性 质 和 从 属 ， 要 
求 开发 团队 更 大 地 投入 。 这 种 组 织 结构 在 当时 的 业界 尚未 实现 ， 但 我 
坚信 它 非 常 适合 Google， 我 相信 在 这 家 公司 ， 时 机 到 了 。 

不 短 的 是 ， 这 种 如 此 深刻 、 根 本 性 的 变 半 在 公司 里 极度 缺乏 认 
同 ,， 极 少 有 人 能 分 译 我 的 激情 。 当 我 开始 推销 这 种 关于 软件 测试 角色 
的 地 位 平等 而 作用 不 同 的 愿景 时 ， 我 发 现 竟然 难以 找到 一 个 人 一 起 共 
FFE! 开发 工程 师 们 好 像 被 他 们 将 要 在 测试 上 发 挥 更 大 的 作用 这 个 
想法 吓 着 了 ， 他 们 指出 “这 是 测试 人 员 的 职责 ”。 而 测试 人 员 也 不 严 
账 ， 因 为 很 多 人 已 经 习惯 了 当前 的 角色 ， 维 持 现 状 的 惯性 导致 任何 变 
章 部 变 得 非 第 困难 。 

我 受 不 松懈 地 继续 努力 着， 主要 是 出 于 对 Google 的 研发 过 程 深 陷 
技术 和 质量 债 的 困境 的 忍 惧 ， 一 旦 如 此 ， 长 达 5 年 的 开发 周期 义 会 成 为 
现实 ， 而 我 本 来 已 经 很 高 兴 地 把 它们 留 在 客户 机 -服务 器 的 世界 里 了 。 
Google 是 一 家 由 天 才 组 成 的 公司 ， 以 创新 为 灵魂 ， 这 种 企业 文化 与 见 
长 的 开发 周期 是 不 相 容 的 。 这 是 一 场 值得 打 的 战斗 ， 我 说 服 目 己 ,， 一 
旦 这 些 天 才 理 解 了 这 种 由 在 打造 一 个 生产 线 式 的 、 可 重复 的 “技术 工 
三 ”的 开发 和 测试 实践 ， 他 们 就 会 改变 看 法 。 他 们 就 会 理解 我 们 不 再 
征 一 个 初创 公司 ， 快 速成 长 的 用 户 群 、 不 断 素 积 的 pug 和 糟糕 结构 的 代 
码 形成 的 技术 债 将 会 导致 开发 过 程 的 朋 演 。 

我 逐个 接触 各 产品 团队 ， 寻 找 优秀 的 案例 ， 试 图 为 我 的 立论 找到 
比较 容易 的 切入 点 。 在 开发 人 员 面 前 ， 我 描绘 了 一 个 持续 构建 、 快 速 
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测试 人 员 面 前 ， 我 激发 他 们 对 于 成 为 同等 技能 、 同 等 贡献 和 同等 薪酬 
的 完全 的 工程 合作 伙伴 的 光 望 。 

开发 人 员 的 态度 是 ， 如 果 我 们 招聘 到 有 能 力 做 功能 开发 的 人 ， 那 
么 ， 我 们 应 当 让 他 们 做 功能 开发 。 其 中 一 些 人 对 我 的 想法 非常 反感 ， 
甚至 发 信 给 我 的 主管 ， 非 常 直 率 地 建议 如 何 来 处 理 我 的 狗 狂 之 举 ， 这 
些 信 塞 满 了 我 的 主管 的 邮箱 。 泣 运 的 是 ， 我 的 主管 并 没有 采纳 那些 建 
议 o 

令 我 吃惊 的 是 ， 测 试 人 员 的 反应 竟然 与 开发 人 员 类 似 。 他 们 沉 酒 
于 老 的 做 事 方式 ， 抱 优 和 目 己 在 开发 面前 的 地 位 ， 但 又 不 想 去 改变 。 

我 的 主 绾 对 这 些 抱 怨 只 有 一 句 话 : “这 里 是 Google， 如 采 你 有 想 
法 ， 尽 管 去 做 就 是 。” 

于 是 我 开始 付 诸 行动 。 我 召集 了 一 批 志同道合 的 骨干 分 子 ， 组 成 
了 一 个 面试 团队 ， 开 始 招聘 。 事 情 进 行 得 比较 艰难 ， 我 们 寻找 的 人 要 
兼 具 开 发 人 员 的 技能 和 测试 人 员 的 思维 ， 他 们 必须 会 编程 ， 能 实现 工 
具 、 平 台 和 测试 目 动 化 。 我 们 必须 对 招聘 和 面试 的 标准 与 流程 做 出 一 
些 调整 ， 并 向 已 经 习惯 了 既 有 模式 的 招聘 委员 会 做 出 合理 解释 。 

最 初 的 儿 个 季度 进行 得 异常 艰难 。 好 的 候选 人 经 常 在 面试 过 程 中 
失利 ， 也 许 是 因为 他 们 没 能 很 快 地 解决 一 些 奇 怪 的 编程 问题 ， 或 是 在 
某 些 人 认为 很 重要 的 方面 表现 得 不 够 好 (然而 这 些 方面 其 实 与 测试 技 
能 诸 不 相干 ) 。 我 预料 到 了 招聘 过 程 的 困难 ， 每 周 都 要 抽出 大 量 时 间 
写 辩 词 。 这 些 辩 词 最 终 会 到 达 Google 联 合 创 始 人 Larry Page 手 里 (他 一 
直 是 招聘 的 最 终 批准 者 ) 。 他 批准 了 足够 多 的 候选 人 ， 我 的 团队 开始 
稳步 增长 。 直 到 现在 ， 我 猜 每 次 Larry 听 到 我 的 名 字 时 想到 的 一 定 是 : 
“招聘 测试 的 ! ” 

当然 ， 到 这 个 时 候 ， 我 已 经 做 了 大 量 的 宣传 和 鼓动 工作 ， 来 说 服 
大 家 这 是 唯一 的 选择 。 整 个 公司 都 在 看 着 我 们 ， 一旦 失败 ， 后 果 将 是 


灾难 性 的 。 对 于 一 个 混合 了 很 多 不 断 变化 的 外 包 人 员 和 临时 人 员 的 小 
测试 团队 而 言 ， 期 望 显得 如 此 之 高 。 然 而 ， 即 使 是 在 我 们 艰难 的 招聘 
进行 中 同时 减少 了 临时 人 员 的 数量 时 ， 我 已 经 注意 到 了 变化 在 发 生 。 
测试 资源 越 稀 缺 ， 给 开发 人 员 留 下 的 测试 工作 束 越 多 。 很 多 团队 都 勇 
敢 地 接受 了 挑战 。 我 感觉 ， 如 采 技 术 保持 不 变 的话 ， 这 个 时 候 的 状态 
已 经 在 接近 我 们 的 目标 了 。 

然而 ， 技 术 不 是 静止 不 动 的 ， 开 发 和 测试 实践 处 于 飞速 的 变化 之 
中 。 静 态 Web 应 用 的 时 代 已 经 成 为 过 去 ， 浏 览 器 还 在 努力 妃 赶 之 中 ， 
围绕 浏览 器 的 自动 化 技术 比 已 经 迟缓 的 浏览 器 还 要 落后 一 年 。 开 发 人 
员 正 面临 着 巨大 的 技术 变革 ， 在 这 个 时 候 ， 把 测试 交 给 开发 人 员 ， 这 
看 上 去 是 徒劳 的 。 我 们 其 至 还 不 太 会 手工 测试 这 些 应 用 ， 更 不 用 提 掉 
动 化 测试 了 。 

开发 团队 身上 的 压力 也 同样 巨大 。 当 时 Google 开始 收购 拥有 晤 舍 
动态 Web 应 用 的 公司 。YouTube、Google Docs 等 后 继 产品 的 融入 ， 延 
展 了 我 们 内 部 的 基础 设施 。 开 发 团队 在 编写 功能 代码 的 过 程 中 ， 要 面 
临 很 多 问题 ， 与 我 们 测试 人 员 在 测试 过 程 中 要 面临 的 问题 一 样 ， 令 人 
ERL 测试 人 员 面 对 的 测试 问题 无 法 孤立 地 人 解决。 把 测试 和 开发 割裂 
开 来 ， 看 成 两 个 单独 的 环 季 ， 甚 至 是 两 类 截然 不 同 鸭 问题 ， 这 种 做 法 
是 错误 的 ， 沿 着 这 条 路 走 下 去 意味 着 什么 问题 也 解决 不 了 。 解 决 测试 
团队 的 问题 ， 只 是 我 们 前 进 路 上 的 其 中 一 步 而 已 。 

进展 在 继续 。 雇 佣 优 秀 的 人 是 一 件 很 有 意思 的 事情 ， 他 们 会 推动 
进展 的 发 生 ! 到 了 2007 年 ， 测 试 团队 有 了 更 好 的 定位 。 我 们 能 够 很 好 
地 处 理发 布 周 期 的 最 后 环 下。 开发 团队 已 经 视 我 们 为 顺利 上 线 的 可 靠 
合作 伙伴 。 不 过 我 们 仍然 是 在 发 布 过 程 的 后 期 才 介 入 的 文 持 团 队 ， 局 
限于 传统 QA 模型 。 尽 管 有 了 优秀 的 执行 能 力 ， 我 们 还 没 达到 我 设想 
的 目标 。 我 解决 了 招聘 方面 的 问题 ， 测 试 也 回 着 正确 的 方向 发 展 ， 但 
是 我 们 还 是 在 整个 流程 中 介入 太 易 。 


我 们 在 一 个 被 称 作 “测试 认证 ”( 本 书后 面 的 章节 会 详细 介绍 ) 的 
事情 上 取得 了 不 少 进 展 。 我 们 向 开发 团队 提供 咨询 ， 帮 助 他 们 改善 代 
码 质量 并 尽早 进行 单元 测试 。 我 们 开发 工具 并 指导 团队 进行 持续 集 
成 ， 使 产品 一 直 你 持 可 测试 的 状态 。 我 们 进行 了 无 数 的 改进 和 调整 ， 
从 而 消除 了 之 前 的 很 多 质疑 ， 本 书 详细 介绍 了 其 中 的 很 多 方法 。 但 
是 ， 在 那个 时 候 ， 还 是 感觉 缺乏 整体 感 ， 开 发 依旧 是 开发 ， 测 试 依旧 
是 测试 。 虽 然 很 多 文化 变革 的 因素 已 经 存在 ， 但 是 ， 我 们 还 需要 一 个 
众 化 剂 把 它们 聚合 成 一 体 。 

自从 根据 我 的 想法 开始 招聘 担当 测试 角色 的 开发 人 员 以 来 ,测试 
组 织 在 不 断 壮 大 。 基 于 对 这 个 团队 的 思考 ， 我 意识 到 测试 仅仅 是 我 们 
所 负责 的 工作 的 一 部 分 。 我 们 的 工具 团队 开发 了 从 源 代码 库 到 编译 框 
架 ， 再 到 缺陷 数据 库 的 各 种 工具 。 我 们 是 测 斌 工程师、 发布 工程 师 、 
工具 开发 工程 师 和 咨询 师 。 触 动 我 的 是 ， 我 们 所 做 的 非 测 试 的 工作 对 
生产 力 的 提升 产生 了 巨大 的 影响 力 。 我 们 的 名 称 是 测试 服务 ， 但 是 我 
们 的 职责 已 经 远大 于 此 。 

因此 ， 我 决定 正式 把 团队 名 称 改 为 工程 生产 力 (Engineering 
Productivity) 团队 。 伴 随 着 称谓 的 改变 ， 随 之 而 来 的 是 文化 的 革新 。 
人 们 开始 更 多 地 谈论 生产 力 而 不 是 测试 和 质量 。 生 产 力 是 我 们 的 工 
作 ， 测 斌 和 质量 是 开发 过 程 里 每 个 人 都 要 承担 的 工作 。 这 意味 着 开发 
人 员 负 责 测试 ， 开 发 人 员 人 负责 质量 。 生 产 力 团 队 负 责 帮 助 开 发 团队 搞 
定 这 两 项 任务 。 

开始 的 时 候 ， 这 个 观点 还 只 是 一 种 梦想 和 志向 ， 我 们 提出 的 “给 
Google 加 速 * 的 口号 听 起 来 也 很 空洞 ， 但 是 ， 随 着 时 间 的 推移 和 我 们 的 
努力 ， 我 们 实现 了 这 些 诺言 。 我 们 的 工具 让 开发 的 动作 更 快 ， 我 们 帮 
助 开 发 人 员 扫 清 了 一 个 叉 一 个 障碍 ， 消 除了 一 个 又 一 个 瓶 贷 。 我 们 的 
工具 还 使 开发 人 员 能 够 编写 测试 用 例 ， 并 在 每 次 构建 时 看 到 这 些 测试 
的 结果 反馈 。 测 试用 例 不 再 只 是 隔离 地 运行 在 某 些 测试 人 员 的 机 器 
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用 发 布 健康 性 的 公开 数据 。 我 们 并 不 是 仅仅 要 求 开 发 人 员 对 测试 和 质 
量 人 负责 ， 我 们 还 提供 帮助 让 他 们 可 以 轻松 地 达到 这 些 要 求 。 生 产 力 和 
测试 的 区 别 最 终 变 成 了 现实 一 一 Google 的 创新 能 够 更 为 顺畅 ， 技 术 债 
也 不 会 素 积 了 。 

最 终结 果 如 何 呢 ? RANBIR STE. AAA ie B 
详细 讲述 这 个 问题 的 。 作 者 们 花费 了 巨大 精力 ， 根 据 目 身 和 其 他 
Googler 的 经 历 ， 把 我 们 的 秘诀 浓缩 成 了 一 套 核 心 实 践 。 但 其 实 ， 我 们 
的 成 功 有 很 多 方面 ， 从 将 构建 次 数 以 数量 级 式 地 降低 ， 到 “ 跑 完 即 起 ” 
式 的 测试 目 动 化 ， 再 到 开源 一 些 非 第 新 半 的 测试 工具 。 在 我 写 这 篇 序 
的 时 候 ， 生 产 力 团队 已 经 拥有 1200 名 工程 师 ， 这 个 数量 比 我 在 2005 年 
加 入 Google 时 整个 工程 部 门 的 工程 师 的 数量 还 要 多 。 生 产 力 品牌 的 影 
响 力 已 经 相当 大 ， 我 们 加 速 Google 的 使 命 已 经 作为 工程 文化 的 一 部 
分 ， 被 广泛 接受 。 从 我 困惑 、 迷 蕊 地 坐 在 TGIF 会 议 上 的 第 一 天 到 现 
在 ， 这 个 团队 已 经 走 过 了 漫长 的 征途 。 这 期 间 唯 一 没 变 的 古 我 那 顶 三 
色 蝶 旋 桨 帽 ， 我 把 它 放 在 我 的 桌 上 ， 作 为 我 们 一 路 走 来 的 见证 。 


Patrick Copeland 是 Google 工 程 生产 力 部 门 的 高 级 总 监 ， 处 于 
Google 整 个 测试 链 的 最 顶端 。 公 司 里 所 有 的 测试 人 员 都 最 终 汇报 
给 Patrick (而 他 恰好 跨 级 汇报 给 Larry Page，Google 的 联合 创始 人 
和 CEO) 。Patrick 加 入 Google 之 前 是 微软 的 测试 总 监 ， 并 在 那里 
工作 了 近 10 年 。 他 经 常 公 开演 讲 ， 在 Google 内 部 被 公认 为 Google 
软件 快速 开发 、 测 试 和 部 署 技术 的 架构 师 。 


软件 开发 并 不 简单 ， 测 试 也 一 样 。 谈 及 整个 web 规 模 的 开发 和 测 
试 ， 一 定 会 提 到 Google。 如 果 你 对 这 家 互联 网 上 最 有 名 气 的 公司 是 如 
何 进 行 如 此 大 规模 的 测试 感 兴趣 的 话 ， 那 么 这 本 书 将 非常 适合 你 。 

每 天 ，Google 测 斌 和 发 布 数 百 万 个 源 文件 、 亿 万 行 的 代码 。 数 以 
亿 计 的 构建 动作 会 触发 几 百 万 自动 化 测试 在 儿 十 万 个 浏览 器 实例 上 执 
行 。 操 作 系 统 按 年 构建 、 测 试 和 发 布 ， 浏 览 器 的 构建 每 天 都 在 进行 ， 
Web 应 用 基本 达到 持续 发 布 。2011 年 ，Google+ 在 100 天 之 内 发 布 了 100 
个 功能 o 
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就 是 本 书 描述 的 测试 解决 方案 。 我 们 会 揭示 这 个 架构 是 如 何 设计 、 实 
现 和 运行 的 ， 介 绍 在 概念 和 实现 阶段 都 发 挥 了 重大 作用 的 许多 人 士 ， 
解释 使 之 成 功 的 基础 架构 。 

但 之 前 也 并 非 如 此 。Google 走 到 今天 的 路 线 与 我 们 的 测试 技术 一 
样 有 趣 。 回 到 6 年 以 前 ，Google 的 情况 与 我 们 之 前 工作 的 那些 公司 非常 
类 似 ， 测 试 是 主流 之 外 的 领域 ,测试 人 员 不 受 重 视 、 加 班 加 点 ， 测 试 
主要 是 一 个 手工 的 过 程 ， 那 些 善 于 自动 化 的 人 很 快 就 被 开发 拉 走 了 ， 
因为 做 开发 影响 力 会 更 大 。 在 Google 被 称 为 “工程 生产 力 ” 部 门 的 黄 基 
者 们 必须 元 服 对 测试 的 偏见 ， 以 及 那 种 推崇 个 人 英雄 主义 而 轻视 工程 
严谨 性 的 公司 文化 。 今 天 ，Google 的 测试 人 员 与 开发 人 员 同 工 同 酬 ， 
奖金 、 晋 升 待遇 完全 一 样 。 测 试 人 员 取 得 成 功 ， 以 及 这 种 文化 能 够 经 
受 公司 巨大 成 长 (产品 、 多 样 性 和 营 收 ) 和 结构 重组 带 来 的 实际 考 
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随 着 越 来 越 多 的 公司 在 Web 领 域 淘金 ， 本 书 介 绍 的 测试 技术 和 组 
织 结构 可 能 会 变 得 更 加 普及 。 采 真如 此 的 话 ， 请 考虑 将 这 本 书 作为 到 
达 目 标的 指南 。 


这 本 Google 测 试 指南 按照 所 涉及 的 角色 组 织 。 第 一 部 分 介绍 了 
Google 质 量 流程 的 所 有 和 角色、 概念 、 流 程 和 细 市 ， 这 一 部 分 建议 必 


本 书 前 面 儿 章 可 以 按 任何 顺序 阅读 。 首 先 介 绍 了 SET (Software 
Engineer in Test， 即 软件 测试 开发 工程 师 ) 这 个 角色 ， 因 为 这 是 现代 
化 的 Google 测 试 的 起 点 。 SET 是 技术 测试 人 员 ， 该 章 内 容 有 适度 的 技 
术 性 ， 但 抽象 程度 足够 能 让 任何 人 理解 其 主要 概念 。 之 后 的 一 草 润 盖 
了 男 一 个 主要 的 测试 角色 一 一 TE (Test Engineer， 即 测试 工程 师 ) 

该 章 内 容 较 多 ， 因 为 TE 的 工作 非常 宽 汉 ，Google 的 TE 在 产品 生命 周期 
中 的 职责 很 广 。 这 个 角色 同样 为 许多 传统 的 测试 人 员 所 熟知 ， 我 们 猜 
测 这 会 是 读者 最 多 的 一 章 ， 因 为 它 的 受众 面 最 大 。 

本 书 还 讲述 了 测试 管理 ， 以 及 与 Google 的 测试 历史 或 在 主要 产品 
上 发 挥 过 重要 作用 的 人 士 的 访谈 。 那 些 试图 建立 类 似 Google 的 测试 流 
程 或 团队 的 人 ， 可 能 会 对 这 些 访谈 感 兴 趣 。 

任何 一 位 读者 都 千 万 不 要 错过 最 后 一 章 。James Whittaker 介 绍 了 
他 对 于 Google 测 试 如 何 继续 演进 的 见解 ， 并 对 Google 力 至 整个 业界 的 
测试 方向 做 了 一 些 预言 。 我 们 相信 很 多 读者 会 感受 到 其 中 的 洞察 力 ， 
其 至 感到 震惊。 


第 1 音 Google 软 件 测试 介绍 


在 许多 场合 下 ， 不 管 是 在 国外 访问 还 是 出 席 会 议 期 间 ， 我 总 是 宣 
无 例外 地 被 问 及 一 个 问题 。 甚 至 是 刚刚 加 入 公司 的 新 员工 也 会 问 到 同 
样 的 问题 : “Google 是 如 何 测试 的 ? ” 

虽然 我 已 经 不 太 确 定 曾 经 多 少 次 回答 过 这 个 问题 ， 以 及 给 出 了 多 
少 个 不 同 版 本 的 答案 ， 但 可 以 确定 的 是 ， 随 着 我 在 Google 工 作 的 时 间 
越 来 越 长 ， 发 现 Google 的 各 种 测试 实践 鸭 不 同 之 处 也 越 来 越 多 ， 答 和 案 
也 一 直 在 变化 。 这 些 测 试 实践 总 是 浮现 在 脑海 里 ， 并 幻想 着 有 朝 一 日 
能 够 将 它们 整理 成 书 。 直 到 有 一 天 ，Alberto (译注 : Alberto Savoia, 
Google 的 测 斌 总监， 详细 介绍 参见 本 书 序言 中 的 Alberto 部 分 ， 这 个 
一 页 认 为 所 有 测试 相关 的 书籍 都 要 为 目 己 的 存在 找 一 个 理由 ， 否 则 束 
应 该 被 扔 掉 做 成 纸尿裤 的 人 ， 当 他 建议 我 应 该 写 这 样 一 本 书 的 时 候 ， 
我 觉得 时 机 已 经 成 熟 ， 是 时 候 开 始 考 虑 写 这 样 一 本 书 了 。 

然而 ， 我 依旧 还 在 等 待 。 第 一 ， 我 并 非 是 写 这 样 一 本 书 的 最 佳人 
选 。 在 Google， 有 很 多 我 的 前 蕴 ， 我 想 和 完 把 机 会 让 给 他 们 来 写 ; 第 
二 ， 我 只 是 Chrome 和 Chrome OS 产 品 的 测试 总 监 现在 这 个 职位 被 我 
之 前 的 一 个 下 属 担任 着 ) ， 我 看 到 的 也 只 是 Google 所 有 测试 实践 中 很 
小 的 一 部 分 ， 我 还 需要 去 了 解 很 多 其 他 Google 产 品 的 测试 方法 。 

在 Google， 软 件 测试 团队 归属 于 一 个 被 称 为 “工程 生产 力 ”( 译 
注 : Engineering Productivity， 也 译 为 工程 效率 或 工程 生产 率 ) 的 中 心 
组 织 部 门 ， 这 个 部 门 的 职责 横 跨 开发 测试 人 员 使 用 工具 的 人 研发、 产品 
发 布 和 各 种 级 别 的 测试 ， 从 单元 级 别 的 测试 到 探索 性 级 别 的 测试 。 
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包括 搜索 、 广 告 、 Apps、YouTube 视 频 和 其 他 我 们 在 Web 上 提供 的 产 
品 。Google 已 经 成 功 解决 了 许多 有 关 速 度 和 扩展 性 方面 的 问题 ， 使 得 
Google 作 为 一 个 大 公司 ， 却 依然 能 以 创业 公司 的 速度 来 发 布 产 品 。 正 
如 Patrick Copeland 在 本 书 的 序言 中 所 说 的 那样 ， 拥 有 如 此 的 魔力 ， 
Google 的 测试 团队 功 不 可 没 。 

注意 

在 Google， 软 件 测试 团队 归属 于 一 个 被 称 为 工程 生产 力 部 门 的 中 
心 组 织 的 部 门 。 

Chrome OS 在 2010 年 12 月 发 布 以 后 ， 我 把 团队 顺利 地 交接 给 我 的 
一 个 直接 汇报 者 ， 然 后 开始 把 自己 的 工作 重点 慢 慢 转移 到 其 他 产品 
上 。 在 这 本 书 刚 开始 准备 的 阶段 ， 我 使 用 博客 的 方式 做 了 一 些 尝试 ， 
发 布 了 第 一 篇 “Google 是 如 何 测试 的 ”的 系列 文章 ( 注 : 参见 
http://googletesting.blogspot.com/2011/01/how-google-tests- 
software.html) 。6 个 月 之 后 ， 本 书 终于 完成 ， 希望 没有 拖 太 长 的 时 
间 。 在 这 六 个 月 的 时 间 里 ， 我 了 解 到 的 Google 测 试 实践 比 我 过 去 两 年 
在 Google 学 到 的 都 要 多 。 现 在 有 了 这 本 书 ，Google 的 新 员工 们 也 可 以 
通过 阅读 此 书 来 熟悉 Google 的 环境 。 

这 并 不 是 第 一 本 介绍 关于 大 公司 是 如 何 做 测试 的 书籍 。 当 我 还 在 
Microsoft 的 时 候 ，Alan Page,BJ Rollison 和 Ken Johnston E T KAER 
的 软件 测试 之 道 》 (译注 : How We Test Software at Microsoft) ， 我 当 
时 亲 寻 经历 了 他 们 书 中 写 的 许多 事情 。Microsoft 在 测试 领域 独步 全 
球 ， 也 是 一 个 测试 精英 云集 的 圣地 。Microsoft 的 测试 工程 师 在 各 种 技 
术 大 会 中 也 是 广 受 欢迎 的 演讲 嘉宾 。Microsoft 的 第 一 任 测 试 总 监 一 一 
Roger Sherman， 吸 3 引 了 来 自 全 球 的 测试 精 喘 加 入 华盛顿 的 雷 德 蒙 德 

(译注 :微软 总 部 所 在 地 ) 。 那 是 一 个 软件 测试 的 黄金 时 代 。 
因此 ，Microsoft 写 了 这 样 一 本 书 来 记录 其 发 生 的 一 切 。 


我 没 能 赶 上 参与 《微软 的 软件 测试 之 道 》 的 编写 ， 但 是 在 Google 
却 有 斑 得 到 这 样 的 机 会 。 我 来 Google 的 时 候 ， 其 测试 正 处 于 一 个 蓬 动 
发 展 的 上 升 期 。 工 程 生 产 力 团 队 的 员工 数量 正 以 火箭 喷发 般 的 速度 增 
长 ， 从 几 百 人 迅猛 发 展 到 今天 的 1200 人 。 正 如 Patrick 在 本 书 序言 中 所 
说 的 那样 ， 这 种 增 速 随 之 而 来 的 是 成 长 的 烦恼 ， 这 也 是 他 们 最 后 的 阵 
痛 ， 此 后 这 个 组 织 开始 了 前 所 未 有 的 井喷 式 增长 。Google 的 测试 博客 
每 月 吸引 了 成 千 上 万 的 人 来 浏览 阅读 ，GTAC ( 注 : GTAC 是 Google 
Test Automation Conference 的 缩写 ， 即 Google 测 试 目 动 化 大 会 ， 参 见 
http://www.gtac.biz) 大 会 也 已 经 成 了 测试 行业 的 旗帜 性 会 议 。 在 我 来 
到 Google 不 久之 后 ，Patrick 也 得 到 了 晋升 ， 手 下 有 十 几 个 总 监 和 工程 
经 理 直 接 汇 报 给 他 。 如 采 你 认为 软件 测试 又 进入 到 新 的 文艺 复兴 时 
期 ， 那 么 Google 一 定 天 是 位 于 中 心 的 罗马 。 

这 意味 着 Google 背 后 的 测试 故事 其 实 可 以 写成 一 本 很 厚 的 书 。 但 
问题 是 ， 我 并 不 想 这 样 做 。Google 之 所 以 闻名 于 世 ， 在 于 其 实现 软件 
的 方法 : 简单 和 直截了当 。 或 许 这 本 书 也 可 以 你 持 这 样 的 风格 。 

《Google 软 件 测试 之 道 》 这 本 书 的 核心 内 容 包 括 : 详细 讲述 了 作 
为 一 个 Google 的 测试 人 员 冤 竞 意 味 着 什么 ， 同 时 也 包含 Google 是 如 何 
解决 软件 在 扩展 性 、 复 洒 性 和 大 并 发 方面 的 问题 。 如 采 想 知道 这 些 ， 
阅读 本 书 将 是 你 的 最 佳 获取 途径 。 如 果 书 中 的 内 容 还 是 不 能 满足 你 想 
要 充分 了 解 Google 是 如 何 测试 的 需求 ， 互 联网 上 还 有 更 多 的 信息 ， 你 
只 需要 “Google 一 下 ”。 

天 于 本 书 由 来 的 故事 ， 不 得 不 说 的 大 概 束 是 这 些 了 。 我 也 终于 做 
好 了 准备 来 讲述 Google 是 如 何 进 行 测试 的 。 随 着 越 来 越 多 的 软件 公司 
从 桌面 应 用 转 同 网 络 应 用 ，Google 测 试 软件 的 方法 也 很 有 可 能 成 为 其 
他 公司 的 榜样 。 如 果 你 已 经 读 了 《微软 测试 之 道 》， 那 么 于 万 不 要 试 
图 在 这 本 书 中 找 一 些 共同 点 。 除 了 两 本 书 的 作者 都 是 三 个 人 ， 且 都 是 


在 讲述 大 型 软件 公司 的 测试 实践 之 外 ， 这 两 本 书 中 所 描述 的 测试 方法 
可 谓 大 相 径 庭 。 

注意 

书 中 关于 Google 的 测试 方法 ， 很 有 可 能 成 为 其 他 公司 竞相 模仿 的 
榜样 ， 特 别 是 那些 从 桌面 应 用 转向 网 络 应 用 的 公司 。 

Patrick Copeland 在 本 书 的 序言 中 解释 了 Google 测 试 方 法 演变 的 历 
史 ， 随 着 公司 的 不 断 成 长 ， 它 也 在 不 停 地 、 有 组 织 地 进化 着 。Google 
是 个 大 熔炉 ， 许 多 来 目 其 他 公司 的 工程 师 被 抛 进来 熔炼 。 在 前 雇主 公 
司 使 用 的 技术 ， 如 果 被 证 明 效 率 低 下 ， 该 技术 要 么 被 遗 齐 ， 要 信 通 过 
Google 的 创新 文化 再 进行 改 展 。 随 着 测试 工程 师 队 伍 的 不 断 膨胀 ， 残 
有 了 许多 新 的 想法 和 实践 的 莹 坛 ， 那 些 在 实践 中 被 证 明 很 有 用 的 技术 
会 被 Google 保留 下 来 ， 并 成 为 Google 的 一 部 分 ， 另 外 一 些 被 证 明 是 负 
担 的 ， 则 会 被 抛弃 掉 。Google 的 测试 者 很 愿意 去 尝试 新 拉 术 ， 但 有 些 
技术 一 旦 被 发 现 并 不 实用 ， 就 会 立刻 被 抛弃 。 

Google 是 一 家 以 创新 和 速度 为 基础 的 公司 ， 人 快速 地 发 布 有 用 的 代 
E 《如 果 失 败 ， 也 只 有 少数 早期 用 户 会 失望 ) 、 返 代 地 增加 早期 用 户 
希望 使 用 的 功能 (最 大 化 用 户 反 馈 ) 。 在 这 样 的 环境 下 ， 测 试 不 得 不 
变 的 异常 灵活 ， 并 有 旦 在 技能 上 要 做 许多 前 期 的 规划 ， 只 是 不 停 地 简单 
维护 并 不 能 真正 解决 问题 。 有 时 ， 测 试 和 开发 互相 交织 在 一 起 ， 达 到 
了 无 法 区 分 彼此 的 程度 ， 而 在 另外 一 些 时 候 ， 测 试 和 开发 又 是 完全 分 
离 ， 甚 至 开发 人 员 都 不 知道 测试 在 做 些 什 么 。 

注意 

有 时 ， 测 试 和 开发 互相 交织 在 一 起 ， 达 到 了 无 法 区 分 彼此 的 程 
度 ， 而 在 另外 一 些 时 候 ， 测 试 和 开发 又 是 完全 分 离 的 ， 甚 至 开发 人 员 
都 不 知道 测试 在 做 些 什 么 。 

贯穿 Google 的 整个 发 展 史 来 看 ， 当 前 Google 的 发 展 速度 只 比 创业 
初期 慢 了 一 点 点 而 已 。 虽 然 Google 创 业已 是 很 久 以 前 的 历史 ， 但 还 是 


可 以 在 一 年 内 就 做 出 一 个 操作 系统 、 在 几 周 内 就 发 布 像 Chrome 这 样 
的 客户 端 应 用 、 每 天 都 在 更 新 其 网 络 应 用 程序 。 在 这 种 环境 下 ， 很 容 
易 束 可 以 说 清楚 测试 并 非 “ 教 条 式 的 、 强 流程 、 体 力 密集 型 、 耗 时 的 ” 
这 比 定义 测试 是 什么 要 简单 的 多 ， 虽 然 本 书 一 直 在 尝试 解释 测试 
是 什么 。 有 一 件 事 是 可 以 确定 的 ， 测 试 不 能 成 为 导致 创新 和 开发 过 程 
变 慢 的 阻碍 。 至 少 ， 这 种 情况 不 能 出 现 两 次 。 

Google 在 测试 上 的 成 功 ， 不 能 简单 地 归结 为 其 被 测 系统 规模 小 且 
答 单 。Google 软 件 应 用 的 规模 和 复杂 上 度 与 外 面 其 他 的 公司 一 样 。 从 客 
户 端的 操作 系统 到 网 络 应 用 、 移 动 端 、 企 业 级 应 用 、 商 业 应 用 、 社 交 
等 各 个 方面 ，Google 几 乎 无 所 不 包 。 

Google 的 软件 庞大 有 旦 复杂 ， 拥 有 数 以 亿 计 的 用 户 ， 也 是 黑客 们 喜 
爱 的 攻击 目标 。 绝 大 多 数 Google 源 代码 都 是 开源 的 ， 这 些 代 码 对 外 公 
JF. POP APT SMa © SAS eH ia aS, EA LN CS E 
来 做 代码 评审 。Google 的 代码 服务 于 上 百 个 国家 ， 使 用 不 同 的 语言 ， 
但 是 用 户 其 实 只 是 期 望 Google 能 够 提供 简单 易 用 且 * 能 够 工作 ”的 服 
务 。Google 的 测试 人 员 每 天 完成 的 工作 ， 并 非 只 是 解决 简单 的 问题 ， 
Google 的 测试 人 员 每 天 都 在 面临 不 同 的 测试 挑战 。 

Google 的 做 法 是 否 正 确 (很 有 可 能 是 错误 的 ) 是 一 个 值得 商检 的 
事情 ， 但 有 一 点 是 确定 的 ，Google 的 测试 方法 与 其 他 我 所 了 解 的 公司 
的 测试 方法 有 很 大 的 不 同 。 随 着 软件 逐渐 由 覃 面 应 用 迁移 到 网 络 云 
端 ，Google 的 测试 模式 很 有 可 能 会 逐渐 成 为 测试 行业 的 主流 模式 。 在 
测试 这 个 行业 ， 如 何 做 测试 ， 从 而 保证 可 以 开发 出 可 靠 的 、 值 得 信赖 
的 软件 ， 一 直 是 这 个 行业 值得 争议 的 话题 。 我 和 本 书 的 其 他 作者 就 希 
望 通过 本 书 可 以 很 好 地 阐述 Google 的 测试 实践 ， 从 而 可 以 引起 一 些 讨 
论 ， 达 到 抛砖引玉 的 目的 。Google 的 测试 方法 或 许 有 它 的 不 足 ， 但 我 
们 也 乐意 去 对 外 公开 它们 ， 使 之 表露 在 业界 和 国际 测试 社区 的 眼皮 之 
下 ， 在 经 过 外 界 的 严格 审查 之 后 ， 我 们 才能 持续 地 改进 。 


Google 的 测试 方法 看 起 来 有 点 违背 常理 一 一 在 整个 公司 ， 我 们 只 
有 非常 少 的 专职 测试 人 员 ， 甚 至 比 我 们 竞争 对 手 公 司 的 单个 产品 的 测 
试 人 员 还 要 少 。 在 通 往 成 功 的 道路 上 ，Google 的 测试 团队 并 非 雄 兵 百 
万 ， 我 们 更 像 古 小 而 精 的 特种 部 队 ， 我 们 依靠 的 是 出 色 的 战术 和 高 级 
武 右 。 由 于 资源 的 缺乏 ， 这 也 古 我 们 向 特种 部 队 方 同 发 展 的 根本 原 
^ 没有 足够 的 人 手 ， 使 得 我 们 不 得 不 去 做 好 优先 级 的 安排 ， 正 如 
Larry Page 所 说 ,“ 少 则 清晰 ”。 不 管 是 功能 方面 的 技术 ， 还 是 测试 方 
面 的 技术 ， 在 追求 质量 方面 ， 我 们 已 经 学 会 了 如 何 运 用 这 些 技术 ， 创 
建 高 影响 力 、 低 阻力 的 实践 活动 。 测 试 人 员 的 稀缺 会 导致 测试 资源 变 
得 非常 郧 贯 ， 因 此 ， 我 们 的 原则 区 ® 古 让 这 些 稀缺 且 陪 明 的 测试 员工 保 
持 昂 扬 的 斗志 和 充沛 的 精力 。 当 有 人 来 问 我 ，Google 成 功 的 关键 是 什 
么 ， 我 的 第 一 个 建议 束 古 ， 不 要 招聘 太 多 的 测试 人 员 。 

注意 

当 有 人 来 问 我 ，Google 成 功 的 关键 是 什么 ， 我 的 第 一 个 建议 束 
征 ， 不 要 招聘 太 多 的 测试 人 员 。 

Google 在 测试 人 员 如 此 缺乏 的 情况 下 ， 是 如 何 应 对 的 呢 ? fs] ORO 
说 ， 在 Google， 写 代码 的 开发 人 员 也 承担 了 质量 的 重任 。 质 量 从 来 束 
不 仅仅 是 一 些 测 试 人 员 的 问题 。 在 Google， 每 个 写 代 码 的 开发 者 本 刁 
忠 古 测试 者 ， 质 量 在 名 义 上 也 由 这 样 的 开发 测试 组 合共 同 承 担 ， 如 图 
1.1 所 示 。 在 Google， 谈 论 开 发 测试 比 (译注 ， 这 里 指 在 人 员 数 量 上 ， 
开发 和 测试 的 比率 ) 就 像 讨 论 太 阳 表 面 的 空气 质量 一 样 ， 这 本 身 没有 
任何 意义 。 如 果 你 古 一 名 工程 师 ， 那 么 你 同时 也 是 一 名 测试 人 员 。 如 
果 在 你 的 职位 头衔 上 有 测试 的 字样 ， 你 的 任务 吏 是 怎样 使 那些 头衔 上 
没有 测试 的 人 可 以 更 好 地 去 做 测试 。 

Google 可 以 打造 出 世界 级 的 软件 ， 这 也 足以 证 明 其 对 待 质量 的 独 
特 方法 值得 学 习 。 或 许 其 中 的 一 些 经 验 在 其 他 的 公司 组 织 中 也 能 适 
用 。 当 然 里 面 也 有 和 需要 改进 的 地 方 。 接 下 来 所 述 束 是 天 于 Google 测 试 
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虽然 100% 的 测试 我 并 不 太 在 乎 产品 中 是 
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困难 , 但 这 是 我 们 
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A 图 1.1 与 功能 相 比 Google 工 程 师 更 看 重 质量 


1.1 质量 不 等 于 测试 


质量 不 是 被 测试 出 来 的 一 一 这 句 看 似 陈 词 选调 的 话 却 包含 着 一 定 
的 道理 。 从 汽车 行业 到 软件 行业 ， 如 有 果 在 最 开始 设计 创建 的 时 候 束 是 
错 的 ， 那 它 永 远 不 会 变 成 正确 的 。 试 问 一 下 汽车 行业 的 公司 ， 大 量 如 
回 事实 上 有 质量 问题 的 产品 ， 代 价 征 多 么 的 昂 贯 。 因 此 ， 从 最 初 的 创 
建 阶 段 吏 要 做 正确 ， 否 则 将 会 陷入 混乱 的 万 丈 深 渊 。 


然而 ， 这 句 话 也 并 不 像 听 起 来 那样 的 简单 和 准确 。 虽 然 质 量 不 是 
被 测 出 来 的 ， 但 同样 有 证 据 可 以 表明 ， 未 经 测试 也 不 可 能 开发 出 有 质 
量 的 软件 。 如 果 连 测试 都 没有 做 ， 如 何 保 证 你 的 软件 具有 很 高 的 质量 
We? 

有 一 个 简单 的 办 法 可 以 解决 这 个 难题 ， 那 就 是 停止 开发 与 测试 的 
隅 离 对 立 。 开 发 和 测试 应 该 并 肩章 趋 。 你 需要 在 写 完 每 一 段 代码 后 立 
刻 测 试 这 段 代码 ， 当 完成 了 更 多 的 代码 时 整 要 做 更 多 的 测试 。 测 试 不 
苹 独 立 阳 离 的 活动 ， 它 本 身 束 古 开发 过 程 的 一 部 分 。 质 量 不 等 于 测 
试 ， 当 你 把 开发 过 程 和 测试 放 到 一 起 ， 殊 像 在 搅拌 机 里 混合 搅拌 那 
样 ， 直 到 不 能 区 分 彼此 的 时 候 ， 你 就 得 到 了 质量 。 

注意 

质量 不 等 于 测试 。 当 你 把 开发 过 程 和 测试 放 到 一 起 ， 避 3 像 在 搅拌 
机 里 混合 搅拌 那样 ， 直 到 不 能 区 分 彼此 的 时 候 ， 你 束 得 到 了 质量 。 

在 Google， 这 正 是 我 们 的 目标 ， 束 是 把 开发 过 程 和 测试 融合 在 一 
起 一 一 开发 和 测试 必须 同时 开展 。 写 一 段 代码 束 立 刻 测试 这 段 代 码 ， 
完成 更 多 的 代码 就 做 更 多 的 测试 ， 但 这 里 的 关键 是 由 谁 来 做 这 些 测试 
呢 ? 众 所 周知 ， 在 Google， 专 职 测试 人 员 的 数量 非常 稀少 ， 与 开发 相 
比 根 本 不 成 比例 ， 唯 一 可 能 的 去 做 这 些 的 束 只 能 是 开发 人 员 。 还 有 谁 
能 比 实 际 写 代码 的 人 更 适合 做 测试 呢 ? 还 有 谁 能 比 实际 写 代 码 的 人 更 
适合 去 寻找 bug 呢 ? 是 谁 会 为 了 避免 受 更 大 刺激 而 去 想 办 法 避免 产生 
bug 呢 ?Google 能 用 如 此 少 的 专职 测试 人 员 的 原因 ， 就 是 开发 对 质量 的 
负责 。 如 采 某 个 产品 出 了 问题 ， 第 一 个 跳出 来 的 肯定 是 导 致 这 个 问题 
发 生 的 开发 人 员 ， 而 不 是 遗漏 这 个 bug 的 测试 人 员 。 

这 意味 痢 质 量 更 像 是 一 种 预防 行为 ， 而 不 是 检测 。 质 量 是 开发 过 
程 的 问题 ， 而 不 是 测试 问题 。 我 们 已 经 成 功 地 将 测试 实践 融入 为 开发 
过 程 的 一 部 分 ， 并 创建 了 一 个 增 量 上 线 的 流程 。 如 采 一 些 项 目 在 线 上 
被 证 实 的 确定 bug 重 重 ， 它 将 会 被 回 滚 到 之 前 的 版 本 。 在 确保 不 出 现 回 


深 级 别 bug 发 生 的 前 提 下 ， 预 防 了 许多 客户 问题 的 同时 ， 也 很 大 程度 降 
低 了 专职 测试 人 员 的 数量 。 在 Google， 测 试 的 目标 就 是 来 判断 这 种 预 
防 工作 做 的 怎么 样 。 

把 开发 过 程 和 测试 混合 在 一 起 ， 密 不 可 分 ， 从 代码 审核 问 询 时 的 
“你 的 测试 在 哪儿 ”， 再 到 在 卫生 间 张 贴 着 的 、 用 来 提醒 开发 人 员 的 最 
佳 W A 实 B —— 3 =: Z A 
http://googletesting.blogspot.com/2007/01/introducing-testing-on- 
toilet.html) 。 测 试 是 开发 过 程 中 必 不 可 少 的 一 部 分 ， 当 开发 过 程 和 测 
试 一 起 携手 联姻 时 ， 既 是 质量 达成 之 时 。 

注意 

测试 是 开发 过 程 中 必 不 可 少 的 一 部 分 ， 当 开发 过 程 和 测试 一 起 携 
手 联姻 时 ， 即 是 质量 达成 之 时 。 


1.2 角色 


为 了 保证 “ 解 铃 还 需 系 铃 人 ”这 人 句 名 言 成 为 事实 (译注 : "you build 
it, you break it*， 摘 自 “you build it, you break it, you fix it”。 原 意 指 
在 构建 实验 室 (Build Lab) 的 人 永远 不 会 去 修复 构建 失败 (build 
break) 的 问题 ， 只 有 开发 人 员 目 己 才 能 修复 。 这 里 的 意思 是 开发 人 员 
目 己 要 对 目 己 写 的 代码 负责 ， 比 专职 的 测试 人 员 更 适合 做 测试 工作 。 
在 传统 的 开发 岗位 之 外 我 们 又 增加 了 几 种 角色 。 我 们 明确 地 提出 了 有 
一 种 工程 师 角 色 必 须 存在 ， 他 可 以 让 开发 人 员 更 加 有 效 且 高 效 地 做 测 
试 。 在 Google， 我 们 的 确 创建 了 这 样 的 角色 ， 他 的 职责 就 是 让 其 他 的 
工程 师 更 有 效率 和 质量 意识 。 这 些 角 色 常 把 他 们 自己 看 做 是 测试 者 ， 
但 实际 上 他 们 的 使 命 是 提高 生产 率 。 测 试 人 员 的 存在 是 为 了 让 开发 人 


员 的 工作 更 有 效率 ， 并 且 很 大 一 部 分 体现 在 避免 因 马 虎 粗 心 而 导致 的 
返工 ， 因 此 ， 质 量 也 是 效率 的 一 部 分 。 在 接 下 来 的 章节 里 ， 会 化 费 较 
多 的 内 容 来 详细 讲解 这 些 角色 ， 所 以 在 这 里 只 进行 简单 的 介绍 。 


1.2.1 软件 开发 工程 师 (SWE) 


软件 开发 工程 师 (译注 : software engineer， 后 文 简 称 SWE) 是 一 
个 传统 上 的 开发 角色 ， 他 们 的 工作 是 实现 最 终 用 户 所 使 用 的 功能 代 
码 。 他 们 创建 设计 文档 、 选 择 最 优 的 数据 结构 和 整体 染 构 ， 并 有 旦 花费 
大 量 时 间 在 代码 实现 与 代码 审核 上 。SWE 和 需要 编写 与 测 斌 代码， 包括 
测试 驱动 的 设计 、 单 元 测试 、 参 与 构建 各 种 大 小 规模 的 测试 等 ， 这 些 
测试 会 在 本 章 的 后 面 做 详细 解释 。SWE 会 对 他 们 编写 、 修 复 以 及 修改 
的 代码 承担 质量 责任 。 假 设 一 个 开发 者 不 得 不 修改 一 个 函数 ， 如 果 这 
次 修改 导致 已 有 测试 用 例 运 行 失败 ， 或 者 需要 增加 一 个 新 的 测试 用 
例 ， 他 就 必须 去 实现 这 个 测试 用 例 的 代码 。 开 发 工程 师 几 乎 将 所 有 的 
时 间 都 花费 在 了 代码 编写 上 。 


1.2.2 软件 测试 开发 工程 师 (SET) 


软件 测试 开发 工程 师 (译注 : software engineer in test, Ja SC fal PK 
SET) 也 是 一 个 开发 角色 ， 只 是 工作 重心 在 可 测试 性 和 通用 测试 基础 
框架 上 。 他 们 参与 设计 评审 ， 非 常 近 距离 地 观察 代码 质量 与 风险 。 为 
了 增加 可 测试 性 ， 他 们 甚至 会 对 代码 进行 重 构 ， 并 编写 单元 测试 框架 
和 上 自动 化 测试 框架 。SET 是 SWE 在 代码 库 上 的 合作 伙伴 ， 相 比较 SWE 
是 在 增加 功能 性 代码 或 是 提高 性 能 的 代码 ，SET 更 加 关注 于 质量 提升 
和 测试 覆盖 率 的 增加 。SET 同 样 会 花费 近 百 分 之 百 的 时 间 在 编写 代码 
上 ， 他 们 这 样 做 的 目的 是 为 质量 服务 ， 而 SWE 则 更 关注 客户 使 用 功能 
的 开发 实现 上 。 


注意 

SET 是 SWE 在 代码 库 上 的 合作 伙伴 ， 与 增加 功能 性 代码 或 提高 性 
能 的 代码 的 SWE 相 比 ，SET 更 加 关注 于 质量 的 提升 和 测试 覆盖 率 的 增 
加 。SET 写 代码 的 目的 是 可 以 让 SWE 测 试 目 己 的 功能 。 


1.2.3 测试 工程 师 (TE) 


测试 工程 师 (译注 :test engineer， 后 文人 简称 TE) 是 一 个 和 SET 关 
系 密 切 的 角色 ， 有 目 己 不 同 的 关注 点 一 把 用 户 放 在 第 一 位 来 思考 ， 
代表 用 户 的 利益 。 一 些 Google 的 TE 会 花费 大 量 时 间 在 模拟 用 户 的 使 用 
场景 和 上 自动 化 脚本 或 代码 的 编写 上 。 同 时 ， 他 们 会 把 开发 工程 师 和 
SET 编写 的 测试 分 门 别 类 地 组 织 起 来 ， 分 析 、 解 释 、 测 斌 运行 结 
驱动 测 斌 执行， 特别 是 在 项 目的 最 后 阶段 ， 推 进 产 品 发 布 。TE 是 真正 
的 产品 专家 、 质 量 顾问 和 风险 分 析 师 。 某 些 TE 需 要 编写 大 量 的 代码 ， 
而 另外 一 些 TE 则 只 用 编写 少量 的 代码 。 

注意 

TE 把 用 户 放 在 第 一 位 来 思考 。TE 组 织 整体 质量 实践 ， 分 析 解 释 
测试 运行 结果 ， 张 动 测试 执行 ， 构 建 端 到 端的 目 动 化 测试 。 

从 质量 的 角度 来 看 ，SWE 负 责 功 能 实现 和 这 些 独 立功 能 的 质量 。 
他 们 对 容错 设计 、 故障 恢复 、 测 试 张 动 设计 、 单 元 测试 负责 ， 并 和 
SET 一 起 编写 测试 代码 。 

SET 也 是 开发 人 员 ， 负 责 提 供 测试 文 持 。 有 这 样 一 个 测试 框架 ， 
它 可 以 把 新 开发 的 代码 隔离 ， 通 过 模拟 一 个 真实 的 工作 运行 环境 (一 
个 包含 stubs、mock、fake 等 方法 的 流程 ， 这 些 内 容 会 在 后 面 详细 讲 
到 ) 和 代码 提交 队列 来 管理 代码 的 提交 。 换 句 话说 ，SET 编写 代码 ， 
通过 这 些 代码 提供 的 功能 让 SWE 能 够 目 己 测试 他 们 的 功能 。 多 数 测 试 


代码 是 由 SWE 完 成 ，SET 存 在 的 目的 就 是 保证 这 些 功 能 模块 具有 可 测 
斌 性， 并 且 相 应 的 SWE 还 可 以 积极 地 参与 到 测试 代码 的 编写 中 去 。 

很 明显 ，SET 的 主要 关注 对 象 就 是 开发 人 员 。SET 的 主要 职责 是 
让 开发 者 可 以 很 容易 地 编写 测试 代码 ， 从 而 达到 独立 功能 模块 的 质量 
要 求 。 专 注 于 用 户 角度 的 测试 则 是 TE 的 职责 。 考 虑 到 SWE 和 SET 已 
经 做 了 足够 多 的 模块 级 别 与 功能 级 别 的 测试 ， 下 一 步 要 考虑 的 就 是 要 
验证 这 些 可 执行 的 代码 与 数据 集成 在 一 起 之 后 ， 是 否 可 以 满足 最 终 用 
户 的 需求 。 在 这 里 ，TE 扮 演 着 一 个 双重 确认 的 角色 ， 确 认 开发 人 员 在 
测试 方面 的 工作 是 否 到 位 ， 任 何 明显 的 bug 都 会 表明 早期 开发 人 员 所 做 
的 测试 工作 存在 不 足 或 比较 马虎 。 当 这 些 明 显 的 bug 变 少时 ，TE 会 把 
注意 力 转移 到 常见 用 户 使 用 场景 中 去 ， 是 否 满足 性 能 期 望 ， 在 安全 
性 、 国 际 化 、 访 问 权 限 等 方面 是 否 满足 用 户 的 要 求 。TE 运 行 许多 测试 
的 同时 ， 也 负责 和 其 他 团队 的 TE、 合 同 工 编制 的 测试 人 员 、 以 众 包 形 
式 参 与 的 测试 者 、 内 部 党 鲜 者 、beta 测 试 者 以 及 早期 用 户 进行 合作 交 
流 ， 与 各 方 讨 论 基 本 设计 带 来 的 风险 、 功 能 逻辑 复杂 性 和 错误 避免 的 
方法 。 一 旦 TE 参 与 到 项 目 之 中 ， 基 本 上 就 会 没完 没 了 。 


1.3 组 织 结构 


在 我 过 去 曾经 工作 过 的 多 数组 织 中 ， 开 发 人 员 和 测试 人 员 都 一 起 
隶属 于 同一 个 工程 产品 团队 。 从 组 织 架 构 上 讲 ， 开 发 人 员 和 测试 人 员 
汇报 给 同一 个 产品 团队 的 管理 者 。 这 样 看 起 来 ， 同 一 个 产品 、 同 一 个 
团队 、 所 有 参与 的 人 都 在 一 起 ， 应 该 可 以 做 到 平等 相处 、 患 难 与 共 。 

但 不 幸 的 是 ， 我 还 从 来 没 见 过 有 团队 能 真正 做 到 这 样 。 资 深 管 理 
者 一 般 都 来 目 产品 经 理 或 开发 经 理 ， 而 不 是 来 目 于 测试 团队 。 在 产品 


发 布 时 ， 优 移 考 虑 的 是 功能 的 完备 性 和 易 用 性 方面 是 否 足够 简单 ， 却 
很 少 考虑 质量 问题 。 作 为 同一 个 团队 ， 测 斌 总 是 在 为 开发 让 路 。 为 何 
我 们 这 个 行业 里 总 是 充斥 着 各 种 有 缺陷 的 、 早 产 的 产品 ， 或 许 这 残 是 
问题 所 在 。 质 量 不 行 惑 再 发 布 一 个 补丁 包 。 

注意 

资深 管理 者 一 般 都 来 自 产 品 经 理 或 开发 经 理 ， 而 不 是 来 自 于 测试 
团队 。 在 产品 发 布 时 ， 优 先 考 虑 的 是 功能 是 否 完整 和 易 用 性 方面 是 否 
足够 简单 ， 却 很 少 考 虑 质量 。 作 为 同一 个 团队 ， 测 试 总 是 在 为 开发 让 
路 。 

Google 的 组 织 汇 报关 系 被 划分 为 不 同 的 专注 领域 (Focus 
Areas) 。 这 些 专注 领域 包括 客户 端 (Chrome、Google 工 具 栏 等 ` H 
理 GEK] ` Google Earth 等 ) 、 广 告 、Apps、 移 动 ， 等 等 。 所 有 的 开发 
工程 师 都 汇报 给 这 些 专 注 领域 的 管理 者 、 总 监 或 副 总 裁 。 

但 SET 和 TE 并 没有 遵循 这 个 模式 。 测 试 是 独立 存在 的 部 门 ， 是 与 
专注 领域 部 门 平 行 的 部 门 〈 横 跨 各 个 产品 专注 领域 ) ， 我 们 称 为 工程 
生产 力 团 队 。 测 试 人 员 基 本 上 以 租借 的 方式 进入 产品 团队 ， 去 做 提高 
质量 相关 的 事情 ， 寻 找 一 些 测 试 不 足 的 地 方 ， 或 者 公开 一 些 不 可 接受 
的 缺陷 率 数 据 。 由 于 测试 人 员 并 不 是 直接 向 产品 团队 进行 汇报 ， 因 此 
我 们 并 不 是 简单 地 被 告 之 某 个 项 目 急需 发 布 束 可 以 通过 测试 。 我 们 有 
目 己 选择 决定 的 优先 级 ， 在 可 徘 性 、 安 全 性 等 问题 上 都 不 会 妥协 ， 除 
非 磁 到 更 重要 的 事情 。 如 有 果 开 发 团队 想 要 我 们 在 测试 上 放 他 们 一 配 ， 
他 们 必须 事先 和 我 们 协商 ， 但 一 般 情况 下 也 都 会 被 拒绝 。 

这 样 的 组 织 结 构 也 可 以 帮助 我 们 保持 数量 较 少 的 测试 人 员 。 一 个 
产品 团队 不 能 任意 降低 测试 人 员 招 聘 的 技术 要 求 ， 从 而 雇佣 更 多 的 测 
试 人 员 ， 然 后 再 让 他 们 做 一 些 简单 和 珊 人 的 脏 活 累 活 。 这 些 功能 相关 
的 脏 活 球 活 本 应 是 开发 人 员 的 工作 ， 不 能 简单 地 扔 给 倒霉 的 测试 人 
员 。 工 程 生产 力 团 队 会 根据 不 同 产 品 团队 的 优先 级 、 复 杂 度 ， 并 与 其 


他 产品 实际 比较 之 后 ， 再 来 分 配 测 试 人 员 。 显 然 ， 有 时 候 我 们 可 能 搞 
错 ， 实 际 上 也 确实 出 过 错 ， 但 总 体 来 说 ， 这 样 会 保持 实际 的 需求 与 不 
明确 的 需求 之 间 的 某 种 平衡 。 

注意 

工程 生产 力 团队 会 根据 不 同 产 品 团 队 的 优先 级 、 复 如 度 ， 并 与 其 
他 产品 实际 比较 之 后 ， 再 来 分 配 测 试 人 员 。 显 然 ， 有 时 候 我 们 可 能 搞 
错 ， 实 际 上 也 确实 出 过 错 ， 但 总 体 上 来 说 ， 这 样 会 保持 实际 的 需求 与 
不 明确 的 需求 之 间 的 某 种 平衡 。 

这 种 测试 人 员 在 不 同 项 目 之 间 的 借调 模式 ， 可 以 让 SET 和 TE 时 刻 
保持 新 鲜 感 并 且 总 是 很 低 太 ， 另 外 还 能 保证 一 个 好 的 测试 想法 可 以 快 
速 在 公司 内 部 葛 延 。 一 个 在 Geo 产 品 上 运用 很 好 的 测试 技术 或 工具 ， 
很 有 可 能 在 Chrome 产品 中 也 得 到 使 用 。 推 广 测试 技术 方面 创新 的 最 
佳 方式 ， 莫 过 于 把 这 个 创新 的 发 明 者 直接 借调 过 来 。 

在 Google 有 一 个 广泛 被 接受 的 做 法 : 对 于 一 个 测试 人 员 ， 如 采 在 
某 个 产品 中 工作 满 18 个 月 之 后 ， 融 可 以 无 理由 地 目 愿 转岗 到 其 他 产 
品 ， 当 然 这 个 转岗 并 不 是 强制 的 。 可 以 想象 一 个 产品 失去 优秀 测试 专 
家 而 市 来 的 悲痛 ,但 从 整个 公司 的 角度 来 看 ， 需 要 你 持 对 各 个 产品 与 
技术 都 了 解 的 测试 人 员 的 存在 。Google 的 测试 工程 师 在 客户 端 、 
Web、 浏 哎 器 、 移 动 技 术 等 领域 都 有 所 涉猎 ， 可 以 高 效 地 使 用 不 同 的 
语言 和 平台 。 由 于 Google 的 产品 和 服务 很 大 程度 上 有 比较 强 的 集成 天 
联 关 系 ， 测 试 人 员 可 以 很 容易 地 保持 相关 的 专业 技能 ， 并 在 公司 范围 
内 的 产品 之 间 目 由 穿梭 。 
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在 拥有 如 此 少量 测试 人 员 的 情况 下 ，Google 还 可 以 取得 不 错 的 成 
果 ， 核 心 原因 在 于 Google 从 来 不 会 在 一 次 产品 发 布 中 包含 大 量 的 功 
能 。 实 际 上 ， 我 们 的 做 法 恰恰 相反 ， 在 一 个 产品 的 基本 核心 功能 实现 
之 后 ， 束 立刻 对 外 发 布 使 用 ， 然 后 从 用 户 那 里 得 到 真实 反馈 ， 再 进行 
迭 代 开 发 。 这 也 是 我 们 在 Gmail 产 品 上 的 经 验 ，Gmail 带 着 beta 标 签 在 
线 上 运营 了 四 年 ， 这 个 标签 用 以 警示 我 们 的 用 户 ，Gmail 仍 处 于 改良 
之 中 。 对 于 最 终 用 户 ， 只 有 该 产品 达到 99.99% 的 可 用 性 时 ， 我 们 才 会 
把 beta 标 签 去 掉 。 在 Android G1 这 个 产品 上 ， 我 们 再 次 使 用 了 这 个 方 
法 ， 让 这 个 非常 有 用 且 经 过 民 好 设计 的 产品 变 得 更 棒 了 ， 功 能 也 更 加 
丰富 全 面 ， 之 后 的 Nexus 手 机 也 采用 了 相同 的 策略 。 有 一 点 需要 引起 
注意 ， 对 于 初期 版 本 的 用 户 ， 并 不 是 因为 这 个 产品 还 处 于 早期 版 本 就 
不 为 之 提供 足够 的 功能 ， 早 期 版 本 并 不 意味 着 是 一 个 不 可 用 的 烂 版 
本 o 

注意 

Google 经 常 在 最 初 的 版 本 里 只 包含 最 基本 的 可 用 功能 ， 然 后 在 后 
继 的 快速 迭代 的 过 程 中 得 到 内 部 和 外 部 用 户 的 反馈 ， 而 且 在 每 次 迭代 
的 过 程 中 都 非常 注重 质量 。 一 个 产品 在 发 布 给 用 户 使 用 之 前 ， 一 般 都 
要 经 历 金 丝竹 版 本 、 开 发 版 本 、 测 试 版 本 、beta 或 正式 发 布 版 本 。 

Google THAT FE ER AAA, (At HMR A ER HF AE AR SE 
与 仓促 。 实 际 上 ， 为 了 发 布 我 们 称 为 beta 的 版 本 ， 一 个 产品 要 经 历 一 
系列 的 内 部 版 本 验证 ， 用 以 证 明 它 已 经 具备 了 一 定 的 质量 。 例 如 
Chrome， 这 是 我 加 入 Google 之 后 的 两 年 都 为 之 工作 的 一 个 产品 ， 根 据 
我 们 对 产品 的 信心 以 及 来 自用 户 的 反馈 ， 我 们 在 整个 过 程 中 使 用 了 不 
同 的 版 本 ， 大 致 顺序 如 下 。 

ELERE: 这 是 每 日 都 要 构建 的 版 本 ， 用 来 排除 过 滤 一 些 明 显 
不 适宜 的 版 本 。 束 像 煤 矿井 里 的 金 丝 稚 (译注 : 17 世 纪 ， 英 国人 将 金 
缘 稚 放 到 煤矿 井 里 检测 井中 空气 质量 。 如 有 果 金 丝 稚 死 了 ， 则 表示 矿井 


中 的 空气 已 达到 令 人 中 毒 的 水 平 。 此 处 意 为 对 一 件 事 情 的 预警 ) ， 如 
果 构 建 失败 了 的 话 ， 意 味 着 我 们 的 流程 可 能 在 哪里 出 了 产 重 问题 ， 需 
要 去 复查 一 明 我 们 的 工作 。 使 用 金 丝 稚 版 本 需要 极 强 的 容 息 度 ， 而 且 
在 这 个 版 本 下 可 能 无 法 使 用 应 有 的 基本 功能 。 一 般 来 说 ， 只 有 这 个 产 
品 的 工程 师 (开发 或 测试 人 员 ) 和 管理 人 员 才 会 安装 使 用 金 丝 作 版 
ds 

注意 

Android 团 队 在 这 方面 有 更 勇敢 的 答 试 ， 所 有 核心 开发 团队 成 员 的 
手机 上 都 安装 有 每 日 构建 的 版 本 。 这 样 做 是 为 了 减少 往 代 码 库 中 提交 
有 问题 的 代码 ， 一 旦 安装 了 错误 代码 ， 手 机 甚至 都 无 法 使 用 其 基本 功 
能 ， 例 如 和 家 人 通话 。 

开发 版 本 : 这 是 开发 人 员 日 常 使 用 的 版 本 ， 一 般 是 每 周 发 布 一 
个 。 该 版 本 具有 一 定 的 功能 并 通过 了 一 系列 的 测试 (我 们 将 会 在 随后 
的 章节 里 讨论 这 点 ) 。 所 有 这 个 产品 下 的 工程 师 都 会 被 要 求 去 安装 这 
个 版 本 ， 并 在 日 音 工 作 中 真正 使 用 它 ， 这 样 可 以 持续 对 这 个 版 本 进行 
测试 。 如 末 一 个 开发 版 本 不 能 够 满足 日 常 真 实 工 作 的 需求 ， 那 么 它 将 
会 被 打 回 为 金 丝 省 版本。 发 生 这 种 情况 不 但 令 人 郁 癌 ， 工 程 团队 也 需 
要 再 花费 大 量 的 时 间 去 重新 评估 。 

测试 版 本 : 这 是 一 个 通过 了 持续 测试 的 版 本 。 这 个 版 本 基本 上 是 
最 近 一 个 月 里 的 最 佳 版 本 了 ， 也 是 工程 师 在 日 常 工作 中 使 用 的 最 稳定 
最 信任 的 一 个 版 本 。 测 试 版 本 可 以 被 挑选 作为 内 部 答 鲜 “译注 : dog 
food) 版 本 ， 如 果 该 版 本 有 比较 持续 的 优良 表现 ， 也 是 作为 beta 测试 
的 候选 版 本 。 一 些 情况 下 ， 如 果 测 试 版 本 在 公司 内 部 使 用 得 足够 稳 
E, 一些 想 更 早 壬 试 这 个 产品 的 外 部 合作 伙伴 也 会 使 用 这 个 版 本 。 

beta 或 发 布 版 本 : 这 个 版 本 是 由 非常 稳定 的 测试 版 本 演变 而 来 ， 
并 经 历 了 内 部 使 用 和 通过 所 有 质量 考核 的 一 个 版 本 ， 也 十 对 外 发 布 的 
第 一 个 版 本 。 
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试验 证 的 良好 机 会 。 与 从 自动 化 测试 那里 得 到 的 反馈 一 样 ， 我 们 每 天 
都 能 从 内 部 用 户 那 里 得 到 关于 这 些 版 本 的 质量 反馈 。 


1.5 测试 类 型 


Google 并 没有 使 用 代码 测试 、 集 成 测试 、 系 统 测试 等 这 些 命 名 方 
式 ， 而 是 使 用 小 型 测试 、 中 型 测试 、 大 型 测试 这 样 的 称谓 (不 要 和 敏 
捷 社 区 发 的 那些 T 恤 型 号 混为一谈 ) ， 着 重 强调 测试 的 范畴 规模 而 非 
形式 。 小 型 测试 意味 着 涵盖 较 少 量 的 代码 ， 其 他 的 测试 类 型 以 此 类 
推 。Google 的 三 类 工程 师 都 会 去 执行 其 中 的 任何 一 种 测试 ， 无 论 十 目 
动 化 的 还 古 手 动 的 。 测 试 的 规模 越 小 ， 整 越 有 可 能 被 实现 成 为 目 动 化 
的 测试 。 

提示 

Google 并 没有 使 用 代码 测试 、 集 成 测试 、 系 统 测试 这 些 命名 方 
式 ， 而 是 使 用 小 型 测试 、 中 型 测试 、 大 型 测试 这 样 的 称谓 ， 着 重 强 调 
测 弃 的 范畴 规模 而 非 形式 。 

小 型 测试 一 般 来 说 (但 也 并 非 所 有 ) 都 是 自动 化 实现 的 ， 用 于 验 
证 一 个 单独 函数 或 独立 功能 模块 的 代码 是 否 按照 预期 工作 ， 痢 重 于 典 
型 功能 性 问题 、 数 据 损坏 、 错 误 条 件 和 大 小 差 一 错误 (译注 ， 大 小 差 
一 (off-by-one) 错误 是 一 类 第 见 的 程序 设计 错误 ) 等 方面 的 验证 。 小 
型 测试 的 运行 时 间 一 般 比 较 短 ， 通 常 是 在 儿 秒 或 更 短 的 时 间 内 就 可 以 
运行 完毕 。 通 常 ， 小 型 测试 是 由 SWE 来 实现 ， 也 会 有 少量 的 SET 参 
与 ，TE 几 乎 不 参与 小 型 测试 。 小 型 测试 一 般 需 要 使 用 mock 和 fake ( 译 
it: mock 对 象征 指 对 外 面 依赖 系统 的 模拟 ， 在 运行 时 刻 可 以 根据 假设 


的 需求 提供 期 望 的 结果 。fake 对 象 是 一 种 虚假 的 实现 ， 内 部 使 用 了 固 
定 的 数据 或 逻辑 ， 只 能 返回 特定 的 结果 。 更 多 参见 
http://stackoverflow.com/questions/346372/whats-the-difference-between- 
faking-mocking-and-stubbing) 才能 运行 。TE 几乎 不 编写 小 型 测试 代 
码 ， 但 会 参与 运行 这 些 测试 ， 来 诊断 一 些 特定 错误 。 小 型 测试 主要 党 
试 解决 的 问题 是 “这 些 代码 是 否 按 照 预期 的 方式 运行 ”。 

中 型 测试 通常 也 都 是 目 动 化 实现 的 。 该 测试 一 般 会 涉及 两 个 或 两 
个 以 上 ， 甚 至 更 多 模块 之 间 的 交互 。 测 试 重 点 在 于 验证 这 些 “ 功 能 近邻 
区 ”之 间 的 交互 ， 以 及 彼此 调用 时 的 功能 是 否 正确 (我 们 称 功能 交互 区 
域 为 “功能 近邻 区 。 在 产品 早期 开发 过 程 中 ， 在 独立 模块 功能 被 开 
发 完毕 之 后 ，SET 会 驱动 这 些 测试 的 实现 及 运行 ，SWE 会 深度 参与 ， 
一 起 编码 、 调 斌 和 维护 这 些 测试 。 如 果 一 个 中 型 测试 运行 失败 ，SWE 
会 目 觉 地 去 查看 分 析 原 因 。 在 开发 过 程 的 后 期 ，TE 会 通过 手动 的 方式 

(如 果 比 较 难 去 实现 自动 化 或 实现 的 代价 较 大 时 ) ， 或 者 自动 化 地 执 
行 这 些 用 例 。 中 型 测试 党 试 去 解决 的 问题 是 ， 一 系列 临近 的 模块 互相 
交互 的 时 候 ， 是 否 如 我 们 预期 的 那样 工作 。 

大 型 测试 涵盖 三 个 或 以 上 (通常 更 多 ) 的 功能 模块 ， 使 用 真实 用 
户 使 用 场景 和 实际 用 户 数据 ， 一 般 可 能 需要 消耗 数 个 小 时 或 更 长 的 时 
间 才 能 运行 完成 。 大 型 测试 关注 的 是 所 有 模块 的 集成 ， 但 更 倾 问 于 结 
果 驱 动 ， 验 证 软件 是 否 满足 最 终 用 户 的 需求 。 所 有 的 三 种 工程 师 角 色 
都 会 参与 到 大 型 测试 之 中 ， 或 是 通过 自动 化 测试 ， 或 是 探索 式 测试 。 
大 型 测试 党 试 去 解决 的 问题 是 ， 这 个 产品 操作 运行 方式 是 否 和 用 户 的 
期 望 相同 ， 并 产生 预期 的 结果 。 这 种 端 到 端的 使 用 场景 以 及 在 整体 产 
品 或 服务 之 上 的 操作 行为 ， 即 是 大 型 测试 关注 的 重点 。 

注意 

小 型 测试 洱 盖 单一 的 代码 段 ， 一 般 运 行 在 完全 虚假 实现 (fake) 
的 环境 里 。 中 型 测试 涵盖 多 个 模块 且 重 点 关注 在 模块 之 间 的 交互 上 ， 


一 般 运行 在 虚假 实现 (fake) 环境 或 真实 环境 中 。 大 型 测试 涵盖 任意 
多 个 模块 ， 一 般 运 行 在 真实 的 环境 中 ， 并 使 用 真正 的 用 户 数 据 与 次 
源 。 

小 型 、 中 型 、 大 型 等 描述 术语 是 什么 并 不 重要 ， 怎 么 称呼 它们 也 
都 可 以 ， 只 要 大 家 都 一 致 认可 。 重 要 的 是 ， 在 Google 测 试 人 员 使 用 统 
一 术语 来 谈论 他 们 测试 的 是 什么 ， 以 及 这 些 测试 范围 是 如 何 划分 的 。 
一 些 雄心 乙 动 的 测试 者 有 时 会 说 到 第 四 级 别 的 测试 ， 即 被 称 为 “超大 型 
测试 >， 公 司 里 的 其 他 测试 同仁 会 认为 这 是 一 个 超大 级 别 的 系统 测试 ， 
潼关 所 有 的 功能 且 运 行 时 间 会 非常 长 。 对 于 一 些 术语 ， 不 需要 用 过 多 
的 文字 去 解释 ， 按 照 字 面 意思 束 可 以 理解 ， 这 样 做 是 最 好 的 。 

我 们 的 测试 对 象 以 及 测试 范围 的 大 小 古 动 态 变 化 的 ， 不 同 产品 之 
间 的 区 别 也 比较 明显 。Google 喜 欢 频 壹 地 发 布 ， 并 快速 地 从 外 部 用 户 
那里 得 到 产品 的 真实 反馈 ， 然 后 再 迭代 开发 出 新 功能 。Google 积 极 努 
力 地 开发 用 户 非 常 感 兴趣 的 产品 特性 ， 并 尽 可 能 慎 地 提供 一 些 功能 给 
用 户 使 用 。 另 外 ， 我 们 也 在 避免 做 一 些 用 户 不 想 要 的 产品 特性 ， 这 了 吏 
要 求 我 们 要 非 党 及 时 地 把 用 户 和 外 部 开发 者 一 起 拉 进 来 参与 ， 这 样 可 
以 更 有 利于 判断 我 们 发 布 的 产品 是 否 满足 用 户 的 真正 需求 。 

最 后 ， 关 于 目 动 化 测试 和 手动 测试 的 比例 ， 对 于 所 有 的 三 种 类 型 
测试 ， 当 然 更 倾 问 于 前 者 。 如 采 能 够 目 动 化 ， 并 不 需要 人 脑 的 智 蹇 与 
直 帝 来 判断 ， 那 融 应 该 以 目 动 化 的 方式 实现 。 但 在 一 些 情 况 下 需要 人 
RA SAAT, GOO, APA Be ee ^ RB Wee d ELI Bof 
等 ， 这 些 还 是 需要 手动 测试 来 完成 。 

注意 

对 于 所 有 的 三 种 类 型 测试 ， 当 然 更 倾向 于 前 者 。 如 采 能 够 目 动 
化 ， 并 不 需要 人 脑 的 乔 窒 与 直觉 来 判断 ， 那 束 应 该 以 目 动 化 的 方式 实 


正如 上 文中 提 到 的 ， 同 时 也 是 值得 重点 关注 的 一 氮 ，Google 也 有 
大 量 的 手动 测试 ， 有 些 使 用 脚本 的 方式 在 记录 (译注 : scripted case, 
把 每 一 个 步骤 都 记录 下 来 的 用 例 表 示 方 式 。 注 意 ， 这 里 scripted case, 
不 征 指 通过 脚本 实现 的 目 动 化 用 例 ， 这 里 只 是 强调 一 种 case 的 实现 方 
x) ， 而 另外 一 些 使 用 探索 式 的 方法 ， 这 些 测试 都 在 被 密切 地 关注 ， 
以 后 可 能 被 目 动 化 方式 所 替代 。 通 过 使 用 定位 点 击 的 验证 方式 、 孙 制 
技术 等 可 以 把 一 些 手动 测试 转变 成 目 动 化 测试 ， 这 些 目 动 化 测试 在 每 
次 建立 之 后 都 会 重复 地 回归 运行 ， 而 手动 测试 更 倾 问 于 关注 于 新 功 
能 。 我 们 甚至 把 开 bug 和 日 并 的 手动 工作 都 目 动 化 实现 了 ， 例 如 ， 如 果 
目 动 化 用 例 运 行 失败 ， 系 统 会 目 动 检查 到 最 后 一 次 代码 变更 的 内 容 ， 
这 些 变更 极 有 可 能 是 造成 失败 的 徘 鬼 祸首。 系统 会 目 动 给 代码 变更 的 
提交 者 发 送 一 封 邮件 ， 并 新 开 一 个 bug 来 记录 这 个 问题 。 将 目 动 化 做 
到 ， 力 争 克 服 “ 人 类 智慧 的 最 后 一 英寸 "这 也 是 Google 的 设计 理念 与 目 
标 ， 也 正 是 正在 构建 之 中 的 下 一 代 测 试 工具 的 努力 方 癌 。 


第 2 章 软件 测试 开发 工程 师 


在 理想 情况 下 ， 一 个 完美 的 开发 过 程 是 怎样 进行 的 呢 ? 测试 先 
行 ， 在 一 行 代码 都 没有 真正 编写 之 前 ， 一 个 开发 人 员 束 会 去 思考 如 何 
测试 他 即将 编写 的 代码 。 他 会 设计 一 些 边界 场景 的 测试 用 例 ， 数 据 取 
值 范 围 从 极 大 到 极 小 、 导 致 循环 语句 超出 限制 范围 的 情况 ， 男 外 还 会 
考虑 很 多 其 他 的 极端 情况 。 这 些 测试 代码 会 作为 产品 代码 的 一 部 分 ， 
以 目 检 代码 或 单元 测试 代码 的 形式 与 功能 代码 存储 在 一 起 。 对 于 此 种 
类 型 的 测试 ， 最 合适 且 最 有 资格 去 做 的 人 人， 其实 束 是 编写 功能 代码 的 
Ae? 

另外 一 些 测试 需要 的 知识 在 本 产品 代码 之 外 ， 通 常 都 依赖 于 外 部 
基础 设施 服务 。 例 如 ， 一 个 测试 用 例 需 要 从 远程 数据 源 (一 个 数据 库 
或 者 云端 ) 读 取 数 据 ， 这 就 需要 存在 一 个 真实 数据 库 或 模拟 的 数据 
库 。 在 过 去 几 年 中 ， 工 业界 使 用 了 各 种 特定 术语 来 挡 述 这 些 辅助 设 
施 ， 包 括 测试 框 架 、 测 试 通用 设施 、 模 拟 设 施 和 虚拟 设施 (译注 : test 
harnesses,test infrastructure,mock and fake) 。 在 假想 的 完美 开发 过 程 
中 ， 在 你 做 功能 测试 时 ， 如 果 需 要 ， 这 些 工具 都 应 该 及 时 出 现在 你 眼 
前 ， 任 由 你 使 用 〈 记 住 ， 这 是 在 一 个 真正 理想 的 软件 世界 里 ) 。 

在 理想 开发 过 程 中 首次 需要 测试 人 员 的 时 刻 即 将 来 临 。 对 于 人 的 
思维 方式 而 言 ， 在 编写 功能 代码 的 时 候 与 编写 测试 代码 的 时 候 是 迎 然 
不 同 的 ， 这 也 就 需要 去 区 分 功能 开发 人 员 和 测试 开发 人 员 (译注 : JE 
文 是 feature developer and test developer) 。 对 于 功能 代码 而 言 ， 思 维 模 
式 是 创建 ， 重 点 在 考虑 用 户 、 使 用 场景 和 数据 流程 上 ， mo T IV 


码 来 说 ， 主 要 思路 是 去 破坏 ， 怎 样 写 测试 代码 用 以 扰乱 分 离 用 户 及 其 
数据 。 由 于 我 们 假设 的 前 提 是 在 一 个 董 话 般 的 理想 开发 过 程 里 ， 所 以 
我 们 或 许可 以 分 别 雇 佣 不 同 的 开发 工程 师 ， 一 个 写 功 能 代码 ， 而 为 一 
个 思考 如 何 破 坏 这 些 功 能 (译注 : 两 种 开发 工程 师 ， 分 别 是 功能 开发 
人 员 和 测试 开发 人 员 ) 。 

注意 

编写 功能 代码 和 编写 测试 代码 在 思维 方式 上 有 着 很 大 的 不 同 。 

在 这 样 乌托邦 式 〈 译 注 : 乌托邦 是 一 个 理想 的 群体 和 社会 的 构 
想 ， 名 字 由 托马斯 -摩尔 的 《乌托邦 》 一 书 中 所 写 的 完全 理性 的 共和 国 
“乌托邦 ”而 来 ， 意 指 理想 完美 的 境界 ) 的 理想 开发 过 程 中 ， 众 多 的 功 
能 开发 人 员 (译注 : feature developer) 和 测试 开发 人 员 (译注 : test 
developer) 需要 通力 合作 ， 共 同 为 打造 同一 款 产 品 而 努力 。 在 我 们 假 
想 的 完美 理想 情况 下 ， 产 品 的 每 一 个 功能 都 对 应 一 个 开发 人 员 ， 整 个 
产品 则 配备 一 定数 量 的 测试 开发 人 员 。 测 试 开 发 人 员 通 过 使 用 测试 工 
具 与 框架 帮助 功能 开发 人 员 解 决 特定 的 单元 测试 问题 ， 而 这 些 问 题 如 
果 只 是 由 功能 开发 人 员 独 目 完 成 ， 则 会 消耗 挥 他 们 许多 的 精力 。 

功能 开发 人 员 在 编写 功能 代码 的 时 候 ， 测 试 开 发 人 员 编写 测试 代 
码 ， 但 我 们 还 需要 第 三 种 角色 ， 一 个 关心 真正 用 户 的 角色 。 显 然 在 我 
们 理想 化 的 马 托 邦 测 试 世 界 里 ， 这 个 工作 应 该 由 第 三 种 工程 师 来 完 
成 ， 既 不 是 功能 开发 人 员 ， 也 不 是 测试 开发 人 人员。 我们 把 这 个 新 角色 
称 为 用 户 开 发 人 员 (译注 : userdeveloper) 。 他 们 需要 解决 的 主要 问题 
是 面向 用 户 的 任务 ， 包 括 用 例 (usecase) 、 用 户 故 事 、 用 户 场 景 、 探 
索 式 测 斌 等。 用户 开发 人 员 天 心 这 些 功 能 模块 如 何 集 成 在 一 起 成 为 一 
个 完整 的 整体 ， 他 们 主要 考 虚 系统 级 别 的 问题 ， 通 常情 况 下 都 会 从 用 
户 角度 出 发 ， 验 证 独立 模块 集成 在 一 起 之 后 是 否 对 最 终 用 户 产 生 价 
值 。 
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在 可 用 性 和 可 靠 性 方面 分 工 合作 ， 达 到 完美 。 每 个 角色 专门 处 理 重要 
的 事情 ， 相 互 之 间 又 可 以 乎 等 地 合作 。 

谁 不 想 为 这 样 的 软件 开发 公司 工作 呢 ? 大 家 全 都 要 报名 应 聘 ! 

但 不 笠 的 是 ， 这 样 的 公司 目前 还 不 存在 ，Google 也 只 是 比较 接近 
而 已 。Google 与 其 他 公司 一 样 ， 痢 在 尽力 去 笑 试 成 为 这 样 的 公司 。 或 
许 是 因为 Google 起 步 较 晚 ， 我 们 有 机 会 从 前 人 那里 吸取 了 很 多 经 验 教 
训 。 当 前 软件 正经 历 一 个 巨大 的 转变 ， 从 发 布 周期 需要 以 年 为 单位 的 
客户 问 模 式 癌 每 周 、 每 天 ， 甚 至 每 小 时 都 会 发 布 的 云 问 模 式 转变 

GE: 一 个 有 趣 的 事情 需要 说 明 一 下 ， 即 使 是 客户 端 软 件 ，Google 也 
喜欢 和 去 更 狐 ， 客 户 端 使 用 一 个 “ 目 动 更 新 ”的 功能 ， 几 乎 所 有 的 客户 
端 应 用 都 有 这 个 功能 ) ， 而 Google 也 从 这 次 转换 浪潮 之 中 受益 良 多 。 
在 这 两 种 原因 的 促进 下 ，Google 的 软件 开发 流程 与 乌托邦 模式 也 有 了 
几 分 相似 。 

Google 的 SWE 融 旦 功能 开发 人 员 ， 负 责 客户 使 用 的 功能 模块 开 
发 。 他 们 编写 功能 代码 及 这 些 功能 的 单元 测试 代码 。 

Google 的 SET 束 是 测试 开发 人 员 ， 部 分 职责 是 在 单元 测试 方面 给 予 
开发 人 员 文 持 ， 另 外 一 部 分 职责 是 为 开发 人 员 提供 测试 框架 ， 以 方便 
他 们 编写 中 小 型 测试 ， 用 以 进行 更 多 质量 相关 的 测试 工作 。 

Google 的 TE 就 是 用 户 开发 人 员 ， 人 负责 从 用 户 的 角度 来 思考 质量 方 
面 各 种 问题 。 从 开发 的 角度 来 看 ， 他 们 编写 用 户 使 用 场景 方面 的 自动 
化 用 例 代 码 ， 从 产品 的 角度 看 ， 他 们 评估 整体 测试 覆盖 度 ， 并 验证 其 
他 工程 师 角色 在 测试 方面 合作 的 有 效 性 。 这 不 是 马 托 邦 ， 这 吏 是 
Google 实 践 之 路 上 最 好 的 等 试 ， 前 进 的 道路 上 充满 了 不 可 预料 且 无 路 
可 退 。 

注意 


Google 的 SWE 是 功能 开发 人 员 ; Google 的 SET 是 测试 开发 人 员 ; 
Google 的 TE 是 用 户 开发 人 员 。 

在 这 本 书 里 ， 我 们 将 会 着 重 介 绍 SET 和 TE 这 两 个 角色 的 工作 内 
容 ， 也 会 包含 少量 SWE 的 工作 内 容 ， 作 为 上 壕 两 种 角色 的 人 补充。 虽然 
SWE 也 重度 参与 测试 工作 ， 但 一 般 情 况 下 都 是 在 头衔 中 包含 “测试 的 
工程 师 的 指导 之 下 完成 的 。 


2.1 SET 的 工作 


在 任何 软件 公司 创立 的 初期 阶段 ， 通 常 都 没有 专职 的 测试 人 员 
(译注 : 本 节 标 题 <SET 的 工作 >， 因 为 原文 为 The Life of an SET ° “The 
Life of ”是 Google 内 部 系列 课程 〈 搜 索 和 广告 是 如 何 工 作 的 ) 中 使 用 的 
特定 术语 。 针 对 Nooglers( 狐 Google 员 工 ) 的 课程 里 ，Life of a Query 揭 秘 
搜索 query 是 如 何 实现 的 ，Life of a Dollar 揭 秘 广告 系统 的 工作 原理 ) e 
当然 那 时 候 也 没有 产品 经 理 、 计 划 人 员 、 发 布 工程 师 、 系 统管 理 员 等 
其 他 和 角色。 每 位 员工 都 独自 完成 所 有 工作 。 我 们 也 经 常 想象 Larry 和 
Sergey (译注 : Google 的 早期 创始 人 之 一 ) 在 早期 是 如 何 思考 用 户 使 用 
场景 和 设计 单元 测试 的 样子 。 随 着 Google 的 不 断 成 长 壮大 ， 出 现 了 第 
一 个 融合 开发 角色 和 质量 意识 于 一 身 的 角色 ， 即 SET (ik: Patrick 
Copeland 在 本 书 的 序 中 已 经 介绍 了 SET 的 出 现 背 景 ) 。 


2.1.1 开发 和 测试 流程 


在 详细 讲解 SET 工作 流程 之 前 ， 我 们 先 来 了 解 一 下 SET 的 工作 青 
景 ， 这 对 理解 整个 开发 过 程 将 十 分 有 益 。 在 新 产品 的 开发 过 程 中 ，SET 
和 SWE 是 紧密 合作 的 伙伴 ， 他 们 达成 一 至， 甚至 一 些 实际 工作 也 会 有 
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工程 师 团 队 的 交付 物 束 是 即将 发 布 的 代码 。 代 码 的 组 织 形 式 、 开 
发 过 程 、 维 护 是 日 常 工作 重点 。Google 多 数 代码 存放 在 同一 个 代码 库 
中 ， 并 使 用 统一 的 一 套 工具 。 这 些 工 具 和 代码 支撑 着 Google 的 构建 和 
发 布 流程 。Google 所 有 的 工程 师 无 论 是 什么 角色 ， 对 如 何 使 用 这 些 工 
具 环 境 痢 非常 地 熟练 ， 团 队 成 员 可 以 毫 不 费力 地 完成 新 代码 的 入 库 、 
提交 、 执 行 测 试 、 创 建 版 本 等 任务 (前 提 是 角色 有 这 样 的 需求 ) 。 

注意 

工程 师 团 队 的 交付 物 束 是 即将 要 发 布 的 代码 。 人 代码 的 组 织 形 式 、 
开发 过 程 、 维 护 是 日 冲 的 工作 重点 。 

这 种 单一 的 代码 库 模 式 ， 使 得 工程 师 可 以 很 从 容 地 在 不 同 项 目 之 
间 转 换 而 几乎 不 需要 什么 学 习 成 本 。 这 为 工程 师 提 供 了 很 大 便利 ， 这 
种 单一 的 代码 库 模 式 让 工程 师 从 他 们 进入 项 目 开始 的 第 一 天 起 ， 其 “ 百 
分 之 二 十 的 贡献 ” (译注 : “ 百 分 之 二 十 时 间 ” 是 指 Googler 称 为 的 “业余 
项 目 ”。 这 并 不 是 一 个 炒作 的 概念 ， 而 是 官方 真正 存在 的 ， 允 许 所 有 
Googler 每 周 投入 一 天 时 间 在 他 的 日 常 工作 之 外 的 项 目 上 。 每 周 四 天 工 
作用 来 赚 取 薪水 ， 剩 下 一 天 用 以 弃 验 和 创新 。 这 并 不 是 完全 强制 的 ， 
Z Bil EE Googler 认为 这 个 想法 只 是 一 个 传说 。 根 据 我 们 的 真实 经 历 ， 
这 个 概念 是 真正 存在 的 ， 我 们 三 个 都 参与 过 “ 百 分 之 二 十 时 间 ” 项 目 。 
实际 上 ， 本 书 提 及 的 许多 工具 部 十“ 百 分 之 二 十 ”项 目的 结 量 。 在 现实 
中 ， 许 多 Goolers 选 择 把 * 百 分 之 二 十 时 间 ? 投 入 到 新 产品 之 中 ， 特 别 是 
一 些 听 起 来 很 酷 的 产品 ， 很 享受 这 种 工作 模式 ) 极 具 效率 。 这 也 意味 
着 对 于 有 需求 的 工程 师 ， 所 有 的 源 代 码 对 他 们 都 是 开放 的 。Web 应 用 
的 开发 人 员 无 须 申请 任何 权限 ， 殉 能 得 看 所 有 可 以 人 商 化 他 们 工作 的 训 
览 亏 器 代码 。 他 们 从 有 经 验 的 工程 师 那 里 学 习 到 在 类 似 场 景 下 如 何 编 


写 代 码 ， 他 们 可 以 重用 一 些 通用 模块 或 详细 的 数据 结构 ， 甚 至 是 重用 
一 些 程序 控制 结构 。Google 在 代码 库 搜索 方面 也 提供 了 非常 便利 的 功 
能 。 

公开 的 代码 库 、 和 谐 的 工程 工具 、 公 司 范围 内 的 资源 共享 ， 成 就 
了 丰富 的 Google 内 部 共享 代码 库 与 公共 服务 。 这 些 共享 的 代码 运行 依 
赖 于 Google 的 基础 设施 产品 ， 它 们 在 加 速 项 目 完 成 与 减少 项 目 失 败 上 
发 挥 了 很 大 作用 。 

注意 

公开 的 代码 库 、 和 谐 的 工程 工具 、 公 司 范围 内 的 资源 共享 ， 成 驶 
了 丰富 的 Google 内 部 共享 代码 库 与 公共 服务 。 

工程 师 们 对 这 些 共 享 的 基础 代码 做 了 特殊 人 处理， 形成 了 一 套 不 成 
文 但 却 非常 重要 的 实践 规则 ， 工 程 师 在 维护 修改 这 些 代码 的 时 候 都 要 
遵守 这 些 规则 。 

所 有 的 工程 师 必须 复 用 已 经 存在 的 公共 库 ， 除 非 在 项 目 特定 需求 
方面 有 很 好 的 理由 。 

对 于 公共 的 共享 代码 ， 首 移 要 考虑 的 是 能 否 可 以 容易 地 被 找到 ， 
并 具有 良好 的 可 读 性 。 代 码 必 须 存储 在 代码 库 的 共享 区 域 ， 以 便 查 
找 。 由 于 共享 代码 会 被 不 同 的 工程 师 使 用 ， 这 些 代码 应 该 容易 理解 。 
所 有 的 代码 都 要 考虑 到 未 来 会 被 其 他 人 阅读 或 修改 。 

公共 代码 必须 尽 可 能 地 被 复 用 且 相 对 独立 。 如 果 一 个 工程 师 提 供 
的 服务 被 许多 团队 使 用 ， 这 将 为 他 带 来 很 高 的 信誉 。 与 功能 的 复杂 性 
或 设计 的 巧妙 性 相 比 ， 可 复 用 性 带 来 的 价值 更 大 。 

所 有 依赖 必须 明确 指出 ， 不 可 被 忽视 。 如 果 一 个 项 目 依赖 一 些 公 
用 共享 代码 ， 在 项 目 工 程 师 不 知情 的 前 提 下 ， 这 些 共享 代码 是 不 允许 
被 修改 的 。 

如 果 一 个 工程 师 对 共享 代码 库 在 某 些 地 方 有 更 好 的 解决 方案 ， 他 
需要 去 重 构 已 有 的 代码 ， 并 协助 依赖 在 这 个 公用 代码 库 之 上 的 应 用 项 


HER Sl sr Se E o eR STL K LP GF 
TE: 这 是 Google 经 常 提 及 的 “同僚 奖金 (peer bonus) ”。 任 何 工程 师 如 
果 受 到 其 他 工程 师 正 面 的 影响 ， 就 可 以 送出 “同僚 奖金 "作为 感谢 。 除 
此 之 外 ， 经 理 还 有 权 使 用 其 他 奖励 手段 。 这 样 做 的 目的 瓯 是 让 这 种 正 
回 团队 合作 形成 一 种 展 性 循环 ， 并 持续 下 去 。 当 然 ， 另 外 还 有 同事 之 
间 私 下 里 的 感谢 ) 。 

Google 非 常 重视 代码 审核 ， 特 别 是 公共 通用 模块 的 代码 必须 经 过 
审核 。 开 发 人 员 必 须 通过 相关 语言 的 可 读 性 审核 。 在 开发 人 员 拥 有 按 
照 代码 风格 编写 出 干净 代码 的 记录 之 后 ， 委 员 会 会 授予 这 名 开发 人 员 
一 个 “良好 可 读 性 ”的 证 书 。Google 的 四 大 主要 开发 语言 C++、Java、 
Python 和 JavaScript 都 有 可 读 性 方面 的 代码 风格 指南 。 

在 共享 代码 库 里 的 代码 ， 对 测试 有 更 高 的 要 求 (在 后 面部 分 会 做 
讨论 ) 。 

最 小 化 对 平台 的 依赖 。 所 有 工程 师 都 有 一 台 加 面 工作 机 器 ， 且 操 
作 系 统 都 尽 可 能 地 与 Google 生 产 环境 的 操作 系统 保持 一 致 。 为 了 减少 
对 平台 的 依赖 ，Google 对 Linux 发 行 版 本 的 管理 也 十 分 谨 愤 ， 这 样 开 发 
人 员 在 自己 工作 机 器 上 测试 的 结果 ， 与 生产 系统 里 的 测试 结 采 会 保持 
一 至。 从 桌面 到 数据 中 心 ，CPU 和 OS 的 变化 尽 可 能 小 GE: 唯一 不 在 
Google 通 用 测试 平台 里 的 本 地 测试 实验 室 ， 是 Android 和 Chrome OS ° 
这 些 类 目 不 同 的 硬件 必须 在 手边 进行 测试 ) 如 果 一 个 bug 在 测试 机 器 上 
出 现 ， 那 么 在 开发 机 融 上 和 生产 环境 的 机 器 上 也 都 应 该 能 够 复 现 。 

所 有 对 平台 有 依赖 的 代码 ， 都 会 强制 要 求 使 用 公共 的 压 层 库 。 维 
护 Linux 发 行 版 本 的 团队 同时 也 在 维护 这 个 底层 平台 相关 的 公共 库 o 
还 有 一 点 ， 对 于 Google 使 用 的 每 个 编程 语言 ， 都 要 求 使 用 统一 的 编译 
器 ， 这 个 编译 器 被 很 好 地 维护 着 ， 针 对 不 同 的 Linux 发 行 版 本 都 会 有 持 
续 的 测试 。 这 样 做 本 身 其 实 并 没有 什么 神奇 之 处 ， 但 限制 运行 环境 可 
以 广 省 大 量 下 游 的 测试 工作 ， 也 可 以 避免 许 多 与 环境 相关 旦 难以 调试 


的 问题 ， 能 把 开发 人 员 的 重心 转移 到 新 功能 开发 上 。 保 持 简单 ， 也 就 
相对 会 安全 。 

注意 

Google 在 平台 方面 有 特定 的 目标 ， 束 是 保持 简单 且 统 一 。 开 发 工 
作 机 和 生产 环境 的 机 器 都 保持 统一 的 Linux 发 行 版 本 ; 一 套 集中 控制 的 
通用 核心 库 ; 一 套 统一 的 通用 代码 、 构 建 和 测试 基础 设施 ; 每 个 核心 
语言 只 有 一 个 编译 器 ; 与 语言 无 关 的 通用 打包 规范 ; 文化 上 对 这 些 共 

享 资 源 的 维护 表示 尊重 且 有 激励 。 

使 用 统一 的 运行 平台 和 相同 的 代码 库 ， 持 续 不 断 地 在 构建 系统 
打包 (译注 : 打包 是 一 个 过 程 ， 包 括 将 源 代 码 编译 成 二 进 制 文件 ， 然 
后 再 把 二 进 制 文件 统一 封装 在 一 个 linux rpm 包 里 面 ) ， 这 可 以 简化 共 
享 代码 的 维护 工作 。 构 建 系统 要 求 使 用 统一 的 打包 规范 ， 这 个 打包 规 
范 与 项 目 特定 的 编程 语言 无 关 ， 与 团队 是 否 使 用 C++、Python 或 Java 也 
都 无 关 。 大 家 使 用 同样 的 “构建 文件 ”来 打包 生成 二 进 制 文件 。 

一 个 版 本 在 构建 的 时 候 需 要 指定 构建 目标 ， 这 个 构建 目标 (可 以 
是 公共 库 、 二 进 制 文 件 或 测试 套件 ) 由 许多 源 文件 编译 链接 产生 。 下 
面 是 整体 流程 。 

(1) 针对 某 个 服务 ， 在 一 个 或 多 个 源 代码 文件 中 编写 一 类 或 一 系 
列 功能 函数 ， 并 保证 所 有 代码 可 以 编译 通过 。 

(2) 把 这 个 新 服务 的 构建 目标 设 定 为 公共 库 。 

(3) 通过 调用 这 个 库 的 方式 编写 一 套 单 元 测试 用 例 ， 把 外 部 重要 
依赖 通过 mock 模拟 实现 。 对 于 需要 关注 的 代码 路 径 ， 使 用 最 常见 的 输 
入 参数 来 验证 。 

(4) 为 单元 测试 创建 一 个 测试 构建 目标 。 

(5) 构建 并 运行 测试 目标 ， 做 适当 的 修改 调整 ， 直 到 所 有 的 测试 
都 运行 成 功 。 


(6) 按 要 求 运行 静态 代码 分 析 工 具 ， 确 保 遵 守 统 一 的 代码 风格 ， 
且 通 过 一 系列 音 见 问题 的 静态 扫 朱 检测 。 

(7) 提交 代码 申请 代码 审核 \ 后 面 对 代 码 审核 会 做 更 多 详细 说 
BH) ， 根 据 反 馈 再 做 适当 的 修改 ， 然 后 运行 所 有 的 单元 测试 并 保证 顺 
利通 过 。 

产 出 将 是 两 个 配套 的 构建 目标 : 库 构 建 目 标 和 测试 构建 目标 。 库 
构建 目标 是 需要 新 发 布 的 公共 库 、 测 试 构建 目标 用 以 验证 新 发 布 的 公 
共 库 是 否 满足 需求 。 注 意 : 在 Google 许 多 开发 人 员 使 用 “测试 驱动 开发 ” 
的 模式 ， 这 意味 着 步 又 (3) 会 在 步骤 (00 和 步骤 (2) 之 前 进行 。 

对 于 规模 更 大 的 服务 ， 通 过 链接 编译 持续 新 增 的 代码 ， 构 建 目标 
也 会 逐渐 变 大 ， 直 到 整个 服务 全 部 构建 完成 。 在 这 个 时 候 ， 会 产生 二 
进 制 构建 目标 ， 其 由 包含 主 入 口 main 函 数 文 件 和 服务 库 链 接 在 一 起 构 
成 。 现 在 ， 你 完成 了 一 个 Google 产 品 ， 它 由 三 部 分 组 成 : 一 个 经 过 民 
好 测试 的 独立 库 、 一 个 在 可 读 性 与 可 复 用 性 方面 都 不 错 的 公共 服务 库 
(这 个 服务 库 中 还 包含 另外 一 套 文 持 库 ， 可 以 用 来 创建 其 他 的 服 
务 ) 、 一 套 履 盖 所 有 重要 构建 目标 的 单元 测试 套件 。 

一 个 典型 的 Google 产 品 由 许多 服务 组 成 ， 所 有 产品 团队 都 希望 一 
个 SWE 负 责 对 应 一 个 服务 。 这 意味 着 每 个 服务 都 可 以 并 行 地 构建 、 打 
包 和 测试 ， 一 旦 所 有 的 服务 都 完成 了 ， 他 们 会 在 一 个 最 终 的 构建 目标 
里 一 起 集成 。 为 了 保证 单独 的 服务 可 以 并 行 地 开发 ， 服 务 之 间 的 接口 
需要 在 项 目的 早期 束 确 定 下 来 。 这 样 ， 开 发 者 会 依赖 在 协商 好 的 接口 
上 ， 而 不 是 依赖 在 需要 开发 的 特定 库 上 。 为 了 不 耽搁 服务 级 别 之 间 的 
早期 测试 ， 这 些 接口 一 般 都 不 会 真正 实现 ， 而 只 是 做 一 个 虚假 的 实 
现 。 

SET 会 参与 到 许多 测试 目标 的 构建 之 中 ， 并 指出 哪些 地 方 需要 小 
型 测试 。 在 多 个 构建 目标 集成 在 一 起 ， 形 成 规模 更 大 应 用 程序 的 构建 
目标 时 ，SET 需 要 加 速 他 们 的 工作 ， 开 始 做 一 些 更 大 规模 的 集成 测试 。 


在 一 个 单独 的 库 构建 目标 中 ， 需 要 运行 几乎 所 有 的 小 型 测试 (由 SWE 
编写 ， 所 有 文 持 这 个 项 目的 SET 都 会 给 予 帮助 ) 。 当 构建 目标 日 益 增 大 
时 ，SET 也 会 参与 到 中 大 型 测试 的 编写 之 中 去 。 

在 构建 目标 的 增长 到 一 定 规 模 时 ， 针 对 功能 集成 的 小 型 测试 会 成 
为 回归 测试 的 一 部 分 。 如 果 一 个 测 斌 用例， 本 应 该 运行 通过 ， 但 如 果 
运行 失败 ， 也 会 报 一 个 测试 用 例 的 bug。 这 个 针对 测试 用 例 的 bug 和 和 针 
对 功能 的 bug 没 有 任何 区 别 。 测 斌 就 是 功能 的 一 部 分 ， 问 题 较 多 的 测试 
就 是 功能 性 bug， 一 定 要 得 到 修复 。 这 样 才 可 以 保证 新 增 的 功能 不 会 把 
已 有 功能 损坏 挥 ， 任 何 代码 的 修改 都 不 会 导致 测试 本 身 的 失败 。 

在 所 有 的 这 些 活动 中 ，SET 始终 是 核心 参与 者 。 他 们 在 开发 人 员 
不 知道 哪些 地 方 需要 单元 测试 的 时 候 可 以 明确 指出 。 他 们 同时 编写 许 
多 mock 和 fake 工 具 。 他 们 长 至 编写 中 大 型 集成 测试 。 好 了 ， 现 在 是 展 
开 讨 论 SET 工 作 的 时 候 了 。 


2.1.2 SET 究竟 是 ; 


SET 首 先是 工程 师 角 色 ， 他 使 得 测试 存活 于 先前 讨论 的 所 有 Google 
开发 过 程 之 中 。SET (software engineer in test) 是 软件 测试 开发 工程 
师 。 最 重要 的 一 点 ，SET 是 软件 工程 师 ， 正 如 我 们 招聘 宣传 海报 和 内 部 
晋升 体系 中 所 说 的 那样 ， 是 一 个 100% 的 编码 角色 。 这 种 测试 方式 的 有 
趣 之 处 在 于 它 使 测试 人 员 能 尽早 介入 到 开发 流程 中 去 ， 但 不 是 通过 “ 质 
量 模型 "和 “测试 计划 ”的 方式 ， 而 是 通过 参与 设计 和 代码 开发 的 方式 。 
这 会 使 得 功能 的 开发 工程 师 和 测试 的 开发 工程 师 处 于 相同 的 地 位 ，SET 
积极 参与 各 种 测试 ， 使 测试 言 有 效率 ， 包 括 手 动 测 试 和 探索 式 测试 ， 
而 这 些 测试 后 期 会 由 其 他 工程 师 负 责 。 

注意 

测试 是 应 用 产品 的 男 外 一 种 功能 ， 而 SET 束 是 这 个 功能 的 负责 人 。 


SET 与 功能 开发 人 员 坐 在 一 起 (实际 上 ， 让 他 们 物理 位 置 坐 在 一 
起 是 也 是 我 们 的 设计 目标 ) 。 这 样 讲 可 能 更 公平 一 些 ， 测 试 也 是 应 用 
产品 的 一 种 功能 特性 ， 而 SET 是 这 个 产品 功能 特性 的 负责 人 。SET 参 
与 SWE 的 代码 评审 ， 反 之 亦 然 。 

在 面试 SET 的 时 候 ， 在 代码 要 求 标 准 上 与 SWE 的 招聘 要 求 是 一 样 
的 ， 而 且 增 加 了 一 个 额外 考核 一 SFT 需 要 了 解 如 何 去 测 试 他 们 编写 的 
代码 。 换 名 话说，SWE 和 SET 都 需要 回答 代码 问题 ， 而 且 SET 还 要 求 去 
解答 测试 问题 。 

正如 你 想象 的 那样 ， 找 到 满足 如 此 条 件 的 人 是 非常 困难 的 ， 在 
Google，SET 的 数量 也 相对 比较 少 ， 这 并 不 是 因为 Google 在 生产 率 方 
面 有 什么 神奇 的 开发 测试 比 要 求 ， 而 是 因为 招聘 到 满足 SET 技能 要 求 的 
人 实在 太 难 了 。SWE 和 SET 这 两 个 角色 比较 相似 ， 在 招聘 方面 这 两 个 
群体 的 要 求 也 类 似 。 假 想 这 样 的 场景 ， 公 司 里 的 开发 人 员 可 以 做 测 
试 ， 而 测试 人 员 可 以 写 代 码 。Google 其 实 还 没有 完全 做 到 这 一 点 ， 或 
许 永 远 也 做 不 到 。 这 两 大 群体 之 间 相 互 交 流 学 习 ，SWE 癌 SET 学 习 ， 
SET 也 在 学 习 SWE， 正 是 我 们 这 些 最 优秀 的 工程 师 一 起 构成 了 我 们 最 
有 效率 的 工程 产品 团队 。 


2.1.3 项 目的 早期 阶段 


Google 没 有 规定 SET 何 时 进入 项 目 ， 同 样 也 没有 规定 怎样 的 项 目 才 
算是 “真正 ”的 项 目 。 通 常情 况 下 ， 在 Google 的 产品 项 目 初 期 阶段 ， 工 程 
师 只 会 投入 20% 的 时 间 。Gmail 和 Chrome OS 也 是 从 一 个 想法 演变 而 
来 ， 初 期 也 并 没有 任何 Google 官 方 资 源 的 投入 ， 这 些 资 源 来 源 于 团队 
开发 测试 成 员 的 业余 时 间 。 事 实 上 也 正如 我 们 的 朋友 Alberto Savoia 

(本 书 的 序言 的 作者 之 一 ， 详 细 介 绍 参 见 序 部 分 ) 所 说 的 那样 ,“ 只 有 
在 软件 产品 变 的 重要 的 时 候 质 量 才 显得 重要 ”。 


许多 创新 的 产品 都 是 来 源 于 团队 20% 的 业余 时 间 。 这 些 时 间 投 入 的 
产品 有 些 慢 慢 地 消失 了 ， 而 另外 一 些 规模 会 越 做 越 大 ， 有 的 甚至 会 成 
为 Google 的 官方 产品 。 在 这 些 产 品 的 初期 ， 没 有 一 个 会 得 到 测试 资 
源 。 在 未 来 可 能 失败 的 项 目 中 投入 测试 资源 来 构建 测试 方面 基础 设 
施 ， 这 是 一 种 资源 浪费 。 如 有 果 项 目 被 取消 了 ， 那 么 这 些 创建 好 的 测试 
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一 个 产品 如 果 在 概念 上 还 没有 完全 确定 成 型 时 就 去 关心 质量 ， 这 
就 是 优先 级 混乱 的 表现 。 许 多 来 源 于 Google 百 分 之 二 十 努力 的 产品 原 
型 ， 在 其 以 后 的 dogfood 或 beta 版 本 发 布 时 ， 还 要 经 历 重 靳 设计 ， 原 始 
代码 保留 的 概率 几乎 为 零 。 很 明显 ， 在 试验 初期 阶段 强调 测试 是 一 件 
FE FS ERSTE 。 

当然 ， 物 极 必 反 ， 风 险 总 是 相对 的 。 如 果 一 个 产品 太 长 时 间 没 有 
测试 的 介入 ， 早 期 在 可 测试 性 上 的 槽 薰 设计 在 后 期 也 很 难 去 做 改进 ， 
这 样 会 导致 目 动 化 难以 实施 且 测 试 工具 极 不 稳定 。 在 这 种 情况 下 ， 不 
得 不 以 质量 的 名 义 来 做 重 构 。 这 样 的 质量 “ 俩 会 拖 慢 产品 的 发 布 ， 甚 
至 长 达 数 年 之 人 。 

在 项 目 早期 ，Google 一 般 不 会 让 测试 介入 进来 。 实 际 上 ， 即 使 SET 
在 早期 参与 进来 ， 也 不 是 从 事 测 斌 工作， 而 是 去 做 开发 。 绝 非 有 意 忽 
视 测试 ， 当 然 也 不 是 说 早期 产品 的 质量 就 不 重要 。 这 是 受 Google 非 正 
式 创 新 驱动 产品 的 流程 所 约束 。Google 很 少 在 项 目 创 建 初期 就 投入 一 
大 帮 人 来 做 计划 (包括 质量 与 测试 计划 ) ， 然 后 再 让 一 大 群 开 发 参与 
进来 。Google 项 目的 诞生 从 来 没有 如 此 正式 过 。 

Chrome OS 是 一 个 可 以 说 明 问 题 的 典型 例子 。 本 书 的 三 个 作者 都 在 
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开发 人 员 做 了 原型 ， 且 多 数 实现 都 是 脚本 与 伪 件 (fake) ， 这 样 他 们 可 
以 拿 着 浏览 器 应 用 模型 做 演示 ， 并 通过 正式 的 立项 批准 。 在 这 些 早期 
原型 阶段 ， 主 要 精力 都 集中 在 如 何 试验 并 证 明 这 些 想 法 的 可 行 性 上 。 


考虑 到 项 目 还 没有 正 陈 批准 ， 且 所 有 的 演示 脚本 最 终 都 会 被 C++ 代码 
重 写 蔡 换 ， 如 果 在 早期 投入 大 量 测试 和 可 测试 性 方面 努力 ， 其 实 没 有 
太 大 的 实用 价值 。 为 了 演示 而 使 用 脚本 搭建 的 产品 ， 一 旦 得 到 正式 批 
准 立 项 ， 其 开发 总 监 就 会 找到 工程 生产 力 团 队 ， 和 寻求 测试 资源 。 

Google 内 部 其 实 也 并 存 大 不 同 的 文化 。 没 有 项 目 会 认为 如 来得 不 
到 测试 资源 ， 他 们 的 产品 就 将 不 复 存在 。 开 发 团队 在 寻求 测试 帮助 的 
时 候 ， 有 义务 让 测试 人 员 相 信和 他 们 的 产品 是 令 人 兴 理 且 并 充满 硕 望 
的 。 在 Chrome OS 的 开发 总 监 给 我 们 介绍 他 们 项 目 、 进 度 和 发 布 计划 
时 ,我们 也 要 求 提 供 当 前 已 有 的 测试 状态 、 期 望 的 单元 测试 覆盖 率 水 
平 、 以 及 明确 在 发 布 过 程 中 各 自 承担 的 责任 。 在 项 目 还 是 概念 阶段 的 
时 候 ， 测 试 人 员 不 会 参与 进来 ， 而 项 目 一 旦 真正 了 立项， 我 们 就 要 在 这 
些 测试 是 如 何 执行 的 方面 发 挥 我 们 的 影响 力 。 

注意 

没有 项 目 会 认为 如 果 得 不 到 测试 资源 ， 他 们 的 产品 束 将 不 复 存 
在 。 开 发 团队 在 寻求 测试 帮助 的 时 候 ， 有 义务 让 测试 人 员 相 信 他 们 的 
产品 是 令 人 兴 理 且 并 充满 布 望 的 。 


2.1.4 团队 结构 


SWE 会 深入 他 们 目 己 编写 的 那 部 分 代码 之 中 ， 通 常 这 部 分 代码 只 
是 某 个 单一 功能 的 模块 甚至 更 小 范围 的 代码 。SWE 一 般 仅 在 自己 的 模 
块 领域 里 提供 最 优 方 案 ， 但 如 果 从 整个 产品 的 角度 来 看 ， 视 时 会 显得 
上 略微 狭窄 。 一 个 好 的 SET 正 好 可 以 弥补 这 一 点 ， 不 仅 要 具有 更 宽广 的 整 
体 产 品 视野 ， 而 且 在 产品 的 整个 生命 周期 里 对 产品 及 功能 特性 做 充分 
理解 ， 许 多 SWE 来 往 罕 梭 于 不 同 产 品 ， 但 产品 的 生命 存活 期 比 SWE 答 
在 产品 里 的 时 间 要 长 久 得 多 。 


像 Gmail 或 Chrome 这 样 的 产品 注定 要 经 历 许多 和 版本， 并 消耗 数 以 
百 计 的 开发 人 员 为 之 工作 。 如 果 一 个 SWE 在 某 个 产品 的 第 三 个 版 本 人 赋 
发 时 加 入 ， 这 时 这 个 产品 已 经 有 民 好 的 文档 、 不 错 的 可 测试 性 、 运 行 
着 稳定 的 自动 化 测试 、 清 晰 的 代码 提交 流程 ， 这 些 现象 都 在 说 明 这 个 
产品 早期 已 有 出 色 的 SET 在 为 之 工作 。 

在 整个 项 目 生 命 周 期 里 ， 功 能 的 实现 、 版 本 的 发 布 、 补 丁 的 创 
建 、 为 改进 而 做 的 重 构 在 不 断 地 发 生 ， 你 很 难说 清楚 什么 时 候 项 目 结 
束 或 一 个 项 目 是 否 真 的 已 经 结束 。 但 所 有 软件 项 目 都 有 明确 的 开始 时 
间 。 在 早期 阶段 ， 我 们 第 去 改变 我 们 的 目标 。 我 们 做 计划 ， 并 尝试 把 
东西 做 出 来 。 我 们 尝试 去 文档 化 我 们 将 要 去 做 的 事情 。 我 们 尝试 去 保 
证 我 们 早期 做 的 决定 长 期 看 来 也 是 正确 的 。 

我 们 在 编码 之 前 做 计划 、 试 验 、 文 档 ， 这 部 分 工作 量 取 决 于 我 们 
对 未 来 产品 的 信心 。 我 们 不 想 在 项 目 初 期 做 少量 的 计划 ， 而 到 项 目 后 
期 却 发 现 这 个 计划 是 值得 花费 更 多 精力 去 做 的 。 同 样 ， 我 们 也 不 希望 
在 早期 计划 上 投入 数 周 时 间 ， 而 之 后 却 发 现 这 个 世界 已 经 改变 了 ， 甚 
至 与 之 前 我 们 想象 的 世界 完全 不 同 了 。 某 种 程度 上 来 说 ， 我 们 早期 在 
文档 结构 和 过 程 中 的 处 理 方式 也 是 明智 的 。 总 而 言 之 ， 做 多 少 和 怎样 
做 比较 合适 ， 由 创建 项 目的 工程 师 来 做 最 终 决 定 。 

Google 产品 团队 最 初 是 由 一 个 技术 负责 人 (tech lead) 和 一 个 或 更 
多 的 项 目 发 起 人 组 成 。 在 Google， 技 术 负 责 人 这 个 非 正 式 的 岗位 一 般 
由 工程 师 担 任 ， 负 责 设 定 技术 方向 、 开 展 合 作 、 充 当 与 其 他 团队 沟通 
的 项 目 接口 人 。 他 知道 关于 项 目的 任何 问题 ， 或 者 能 够 指出 谁 知道 这 
些 问 题 的 细 记 。 技 术 人 负责 人 通常 是 一 名 SWE， 或 者 由 一 名 具备 SWE 能 
力 的 工程 师 来 担任 。 

项 目的 技术 负责 人 和 发 起 人 要 做 的 第 一 件 事 就 是 设计 文档 (后 文 
会 做 介绍 ) 。 随 着 文档 的 不 断 完善 ， 就 需要 不 同 专 业 类 型 的 工程 师 角 


色 投 入 到 项 目 中 去 。 许 多 技术 负责 人 期 望 SET 在 早期 就 能 参与 项 目 ， 即 
便 那 时 SET 资源 还 相对 稀缺 。 


2.1.5 设计 文档 


所 有 Google 项 目 都 有 设计 文档 。 这 是 一 个 动态 的 文档 ， 随 独 项 目 
的 演化 也 在 不 断 地 保持 更 新 。 最 早期 的 项 目 设计 文档 ， 主 要 包括 项 目 
的 目标 、 背 景 、 团 队 成 员 、 系 统 设计 。 在 初期 阶段 ， 团 队 成 员 一 起 协 
同 完成 设计 文档 的 不 同 部 分 。 对 于 一 些 规模 足够 大 的 项 目 来 说 ， 需 要 
针对 主要 子 系统 也 创建 相应 的 设计 文档 ， 并 在 项 目 设计 文档 中 增加 子 
系统 设计 文档 的 链接 。 在 初期 版 本 完成 后 ， 里 面 会 寺 括 所 有 将 来 需要 
完成 的 工作 清单 ， 这 也 可 以 作为 项 目前 进 的 路 标 。 从 这 一 点 上 讲 ， 设 
计 文档 必须 要 经 过 相关 技术 负责 人 的 审核 。 在 项 目 设计 文档 得 到 足够 
的 评审 与 反馈 之 后 ， 初 期 版 本 的 设计 文档 就 接近 尾声 了 ， 接 下 来 项 目 
束 正 式 进 入 实施 阶段 。 

作为 SET， 比较 壮 运 的 是 在 初期 阶段 惑 加 入 了 项 目 ， 会 有 一 些 重 
要 且 有 影响 力 的 工作 急需 完成 。 如 果 能 够 合理 地 谋划 策略 ， 我 们 在 加 
速 项 目 进度 的 同时 ， 也 可 以 做 到 简化 项 目 相 关 人 员 的 工作 。 实 际 上 ， 
作为 工程 师 ，SET 在 团队 中 有 一 个 巨大 的 优势 ， 束 是 拥有 产品 方面 最 
广阔 的 视野 。 一 个 好 的 SET 会 把 非常 专业 的 广阔 视野 转化 成 影响 力 ， 在 
开发 人 员 所 编写 的 代码 上 产生 深远 的 影响 力 。 通 音 来 说 ， 代 码 复 用 和 
模块 交互 方面 的 设计 会 由 SET 来 做 ， 而 不 是 SWE。 后 面 会 着 重 介绍 SET 
在 项 目的 初期 阶段 是 如 何 发 挥 作用 的 。 

注意 

在 设计 阶段 ，SET 在 推进 项 目的 同时 也 可 以 们 化 相关 项 目 成 员 的 工 
作 。 


如 果 有 另外 一 双眼 睛 来 帮助 审核 你 的 工作 ， 这 是 无 疑 会 很 有 帮助 
且 令 人 期 待 。SWE 就 渴望 得 到 来 自 SET 的 这 种 帮助 与 反馈 。 在 SWE 完 
成 设计 文档 的 各 个 部 分 之 后 ， 需 要 发 送 给 更 大 范围 人 去 做 正式 审核 ， 
在 这 之 前 他 们 希望 得 到 SET 的 帮助 。 一 个 优秀 的 SET 对 这 样 的 文档 审核 
会 比较 期 待 ， 乐 意 去 投入 他 的 时 间 ， 在 SET 审阅 过 程 中 ， 会 针对 质量 
和 可 靠 性 方面 增加 一 些 必 要 的 内 容 。 下 面 是 我 们 为 什么 这 么 做 的 几 个 
原因 。 

SET 需要 熟悉 了 解 所 负责 的 系统 设计 (阅读 所 有 的 设计 文档 是 一 个 
途径 ) ，SET 和 SWE 都 期 望 如 此 。 

SET 早期 提出 的 建议 会 反馈 在 文档 和 代码 里 ， 这 样 也 增加 了 SET 的 
整体 影响 力 。 

作为 第 一 个 审阅 所 有 设计 文档 的 人 〈 也 因此 了 解 所 有 迭代 过 
程 ) ，SET 对 项 目的 整体 了 解 程度 超过 了 技术 负责 人 。 

对 于 SET 来 说 ， 这 也 是 一 个 非常 好 的 机 会 ， 可 以 在 项 目 初 期 就 与 相 
应 开发 工程 师 一 起 建立 良好 的 工作 关系 。 

审阅 设计 文档 的 时 候 应 该 有 一 定 的 目的 性 ， 而 不 是 像 读 报纸 那样 
随便 看 两 眼 就 算 了 。 优 秀 的 SET 在 审阅 过 程 中 始终 保持 强烈 的 目的 性 。 
下 面 是 一 些 我 们 推荐 的 一 些 要 点 。 

完整 性 : 找 出 文档 中 残缺 不 全 或 一 些 需要 特殊 背景 知识 的 地 方 。 
通常 情况 下 团队 里 没 人 会 了 解 这 些 知识 ， 特 别 是 对 新 人 而 言 。 鼓 励 文 
档 作 者 在 这 方面 添加 更 多 细节 ， 或 增加 一 些 外 部 文档 链接 ， 用 以 补充 
这 部 分 背景 知识 。 

正确 性 : 看 一 下 是 否 有 语法 、 拼 写 、 标 点 符号 等 方面 的 错误 ， 这 
一 般 是 马虎 大 意 造 成 的 ， 并 不 意味 着 他 们 以 后 编写 的 代码 也 是 这 样 。 
但 也 不 能 为 这 种 错误 而 破坏 规矩 。 

一 致 性 : 确保 配 图 和 文字 描述 一 致 。 确 保 文 档 中 没有 出 现 与 其 他 
文档 中 截然 相反 的 观点 和 主张 。 


设计 : 文档 中 的 一 些 设计 要 经 过 深思 熟 虐 。 考 虑 到 可 用 的 资源 ， 
目标 是 否 可 以 顺利 达成 ? 要 使 用 何 种 基础 的 技术 框架 ( 读 一 读 框架 文 
档 并 了 解 他 们 的 不 足 ) ? 期 望 的 设计 在 框架 方面 使 用 方法 上 是 否 正 
HA? 设计 是 否 太 过 复杂 ? 有 可 能 人 简化 吗 ? AeA BS? 这 个 设计 还 
需要 增加 什么 内 容 ? 

接口 与 协议 : 文档 中 是 否 对 所 使 用 的 协议 有 清晰 的 定义 ? 是 否 完 
整地 描述 了 产品 对 外 的 接口 与 协议 ? 这 些 接口 协议 的 实现 是 否 与 他 们 
期 望 的 那样 一 致 ?> 对 于 其 他 的 Google 产 品 是 否 满 足 统一 的 标准 ? ER 
ax FF A A D H XE. X. Protocol buffer 数 据 格式 (后 面 会 讨论 Protocol 
buffer) ? 

Wik: 系统 或 文档 中 描述 的 整套 系统 的 可 测试 性 怎样 ? 是 否 需要 
ALAS PI^ (译注 : testing hook， 这 里 指 为 了 测试 而 增加 一 些 接 
口 ， 用 以 显示 系统 内 部 状态 信息 ) ? 如 果 和 需要， 确保 他 们 也 被 添加 到 
文档 之 中 。 系 统 的 设计 是 否 考 虑 到 吻 测试 性 ， 而 为 之 也 做 了 一 些 调 
TE? 是 否 可 以 使 用 已 有 的 测试 框架 ? 预 估 一 下 在 测试 方面 我 们 都 需要 
做 哪些 工作 ， 并 把 这 部 分 内 容 也 增加 到 设计 文档 中 去 。 

注意 

审阅 设计 文档 的 时 候 要 ， 有 具备 一 定 的 目的 性 ， 需 要 完成 特定 的 目 
标 ， 而 不 是 像 读 报纸 那样 随意 看 两 眼 。 

在 SET 与 相应 的 SWE 一 起 沟通 文档 的 审阅 结果 时 ， 天 于 测试 的 工 
作 量 以 及 各 个 角色 之 间 如 何 共同 参与 测试 ， 会 有 一 个 比较 正式 的 讨 
论 。 这 是 一 个 绝 佳 的 时 机 ， 可 以 了 解 到 开发 在 单元 测试 方面 的 目标 ， 
以 及 如 果 想 打造 一 款 经 过 良好 测试 的 产品 ， 团 队 成 员 需要 遵守 哪些 最 
佳 实践 。 当 这 种 讨论 以 互 帮 互 助 的 形式 开始 出 现时 ， 我 们 的 工作 就 开 
始 逐 步 进入 正轨 了 。 


2.1.6 接口 与 协议 


在 Google， 由 于 接口 协议 与 编写 代码 相关 ， 所 以 对 于 开发 人 员 来 

说 ， 文 档 化 这 部 分 是 比较 轻松 的 事情 。Google protocol buffer 语 言 
( iE : Google protocol buffers 是 开源 的， 参见 

http://code.google.com/apis/protocolbuffers) 与 编码 语言 和 平台 无 天 ， 对 
结构 化 数据 而 言 具有 可 扩展 性 ， 束 像 XML 一 样 ， 但 更 小 、 更 快 、 更 简 
单 。 开 发 人 员 使 用 protocol buffer 的 摘 述 语言 来 定义 数据 结构 ， 然 后 使 
用 目 动 生成 的 源 代码 ， 从 各 种 数据 流 中 来 读 或 写 这 些 结构 化 的 数据 ， 
使 用 任何 编程 语言 (Java,C++ 或 python) inf eo T SALE UR. 
protocol buffer 源 码 通 常 是 第 一 份 源 代码 。 在 系统 实现 之 后 ， 如 果 设 计 
文档 中 仍然 使 用 protocol buffers 来 描述 系统 是 如 何 工 作 的 ， 这 比较 罕 
DL o 

SET Xf protocol buffer 代 码 做 比较 系统 全 面 的 审查 ， 因 为 protocol 
buffer 定 义 的 接口 与 协议 的 代码 实现 是 要 由 SET 来 完成 的 。 没 钳 ，SET 
是 第 一 个 实现 所 有 接口 和 协议 的 人 。 在 系统 真正 搭建 起 来 之 前 ， 集 成 
测试 的 运行 依赖 这 些 接口 实现 。 为 了 能 够 尽早 地 开始 做 集成 测试 ，SET 
针对 各 个 模块 的 依赖 提供 了 mock 或 fake 的 实现 。 虽 然 功 能 模块 代码 还 
没有 实现 ， 集 成 测 试 的 代码 就 已 经 可 以 开始 编写 了 。 在 这 个 时 候 ， 如 
果 集 成 测试 代码 可 以 运行 起 来 ， 那 将 会 更 有 价值 。 男 外 ， 在 任何 阶 
段 ， 和 集成 测试 总 是 依赖 mock 和 fake。 因 为 有 了 它们 ， 一 些 依赖 服务 的 
期 望 错误 场景 和 条 件 异 常 ， 会 比较 容易 产生 。 

注意 

为 了 能 够 尽早 可 以 运行 集成 测试 ， 针 对 依赖 服务 ，SET 提供 了 
mock 与 fake ° 


2.1.7 自动 化 计划 


SET 时 间 有 限 且 需要 做 的 事情 太 多 ， 尺 早 地 提供 一 个 可 实施 的 自 
动 化 测试 计划 是 一 个 很 好 的 解决 方法 。 试 图 在 一 个 测试 套件 中 自动 化 
所 有 端 到 端的 测试 用 例 ， 这 是 一 个 常见 的 错误 。 没 有 SWE 会 被 这 样 一 
个 无 所 不 包 的 设计 所 吸引 并 感 兴趣 ，SET 也 就 得 不 到 SWE 的 什么 帮 
助 。 如 果 SET 希 望 能 从 SWE 那 里 得 到 帮忙 ， 他 的 自动 化 计划 就 必须 合 
情 合理 旦 有 影响 力 。 自 动 化 上 投入 的 越 多 ， 维 护 的 成 本 也 束 越 大 。 在 
系统 升级 变化 时 ， 自 动 化 也 会 更 加 不 稳定 。 规 模 更 小 且 目 的 性 更 强 的 
自动 化 计划 ， 并 存在 可 以 提供 帮助 的 测试 框架 ， 这 些 会 吸引 SWE 一 起 
参与 测试 。 

在 端 到 端的 自动 化 测试 上 过 度 投入 ， 常 常会 把 你 与 产品 的 特定 功 
能 设计 绑 定 在 一 起 ， 这 部 分 测试 在 整个 产品 稳定 之 前 都 不 会 特别 有 
用 。 在 产品 完成 之 后 ， 这 个 时 候 如 果 去 修改 设计 就 已 经 太 晚 了 。 所 
以 ， 这 个 时 刻 从 测试 中 得 到 的 任何 反馈 也 将 变 得 坚 无 意义 。SET 的 时 
间 ， 本 应 投入 在 提高 质量 方面 ， 却 白白 地 花费 在 维护 这 些 不 稳定 的 端 
到 端 测试 套件 上 。 

注意 

在 端 到 端 自动 化 测试 上 过 度 投入 ， 常 常会 把 你 与 产品 的 特定 功能 
设计 绑 定 在 一 起 。 

在 Google，SET 遵 人 循 了 下 面 的 方法 。 

我 们 首先 把 容易 出 错 的 接口 做 隔离 ， 并 针对 它们 创建 mock 和 fake 
(在 之 前 的 章节 中 做 过 介绍 ， 这 样 我 们 可 以 控制 这 些 接口 之 间 的 交 
互 ， 确 保良 好 的 测试 覆盖 率 。 

接 下 来 构建 一 个 轻 量 级 的 自动 化 框架 ， 控 制 mock 系统 的 创建 和 执 
行 。 这 样 的 话 ， 写 代码 的 SWE 可 以 使 用 这 些 mock 接 口 来 做 一 个 私有 构 
建 。 在 他 们 把 修改 的 代码 提交 到 代码 服务 器 之 前 运行 相应 的 自动 化 测 
试 ， 可 以 确保 只 有 经 过 良好 测试 的 代码 才能 被 提交 到 代码 库 中 。 这 是 


目 动 化 测试 擅长 的 地 方 ， 保 证 生态 系统 远离 糟糕 代码 ， 并 确保 代码 库 
永远 处 于 一 个 时 刻 干 净 的 状态 。 

SET 除了 在 这 个 计划 中 涵盖 自动 化 (mock、fake 和 框架 ) 之 外 ， 还 
要 包括 如 何 公 开 产 品质 量 方面 的 信息 给 所 有 关心 的 人 。 在 Google，SET 
使 用 报表 和 仪表 盘 (译注 : dashboard) 来 展示 收集 到 的 测试 结果 以 及 
测试 进度 。 通 过 将 整个 过 程 简化 和 信息 公开 透明 化 ， 获 取 高 质量 代码 
的 概率 会 大 大 增加 。 


2.1.8 可 测试 性 


在 产品 开发 过 程 中 ，SWE 和 SET 紧密 地 工作 在 一 起 。SWE 编 写 产 
品 代码 并 测试 这 些 代 码 。SET 编写 测试 框架 ， 为 SWE 编写 测试 代码 方 
面 提 供 帮 助 。 另 外 ，SET 也 做 一 些 维护 工作 。 质 量 责 任 由 SWE 和 SET 
共同 承担 。 

SET 的 第 一 要 务 就 是 可 测试 性 。SET 在 扮演 一 个 质量 顾问 的 角色 ， 
提供 程序 结构 和 代码 风格 方面 的 建议 给 开发 人 员 ， 这 样 开 发 人 员 可 以 
更 好 地 做 单元 测试 。 同 时 提供 测试 框架 方面 的 建议 ， 使 得 开发 人 员 能 
够 在 这 些 框 架 的 基础 上 自己 写 测试 。 后 面 我 们 再 讨论 框架 ， 在 这 里 让 
我 们 首先 说 一 下 Google 的 代码 流程 。 

作为 开发 人 员 ， 一 个 基本 的 要 求 就 是 有 能 力 做 代码 审查 。 代 码 审 
查 需 要 工具 和 文化 方面 的 支持 ， 这 个 文化 习俗 来 源 于 开源 社区 中 “提交 
者 ”的 概念 ， 只 有 被 证 明 是 值得 信赖 的 开发 者 之 后 ， 才 具有 往 代 码 库 中 
提交 代码 的 资格 。 

注意 

为 了 使 SET 也 成 为 源码 的 拥有 者 之 一 ，Google 把 代码 审查 作为 开发 
流程 的 中 心 。 相 比较 编写 代码 而 言 ， 代 码 审 查 更 值得 炫 炊 。 


在 Google， 每 个 人 都 是 代码 提交 者 。 但 是 ， 我 们 使 用 了 另外 一 个 
词 “ 可 读 性 ?来 区 分 有 已 被 证 明 有 资格 的 提交 者 和 新 开发 人 员 。 下 面 介 
绍 整个 流程 如 何 工 作 的 。 

代码 以 一 个 被 称 为 “变更 列表 ” (译注 : change list， 下 文 简写 CL ) 
的 单元 被 编写 和 封装 起 来 。CL 在 编码 结束 之 后 会 提交 审查 ， 其 中 使 用 
一 个 Google 内 部 工具 Mondrian (DA — > faf = 318 2 UK HARA A ) 
Mondrian 会 把 需要 审查 的 代码 发 送 给 具有 审阅 资格 的 SWE 或 SET， 并 最 
终 通过 代码 审查 (译注 : 在 Google App Engine 上 运行 着 一 个 开源 版 本 
HJMondrian, # Jihttp://code.google.com/p/rietveld/) ° 

CL 可 以 是 一 段 新 代 码 ， 也 可 以 是 对 已 有 代码 的 修改 ， 或 是 缺陷 修 
复 等 。CL 代 码 的 大 小 从 几 行 到 几 百 行 不 等 ， 一 般 审查 者 都 会 要 求 把 数 
量 较 大 的 CL 分 解 成 数量 较 小 的 几 个 CL。 新 加 入 Google 的 SWE 和 SET 都 
需要 通过 持续 提交 优秀 的 CL， 来 获取 一 个 “可 读 性 ”方面 的 代码 审查 资 
格 。 可 读 性 与 编程 语言 有 关 ，Google 内 部 主要 的 编程 语言 C++、 
Java ` Python 和 JavaScript 都 有 不 同 的 可 读 性 要 求 。 有 经 验 和 值得 信赖 
的 开发 人 员 ， 会 得 到 “可 读 性 ”的 资格 ， 大 家 同心 协力 确 你 整个 代码 座 
看 起 来 像 是 由 一 个 人 编写 的 一 样 QE: Google 的 C++ 代码 风格 指南 是 对 
外 A F 的 参 见 http://google-style 
guide.googlecode.com/svn/trunk/cppguide.xml) 。 

在 CL 提交 审查 之 前 ， 会 经 过 一 系列 的 目 动 化 检查 。 这 种 自动化 静 
态 检查 所 使 用 的 规则 包含 一 些 简 单 的 确认 ， 例 如 是 否 遵循 Google 的 代 
码 风 格 指南 、 提 交 CL 相 关 的 测试 用 例 是 否 执 行 通过 (原则 上 所 有 的 测 
试 必须 全 部 通过 ) 等 。CL 里 面 一 般 总 是 包含 针对 这 个 CL 的 测试 代码 ， 
测试 代码 总 是 和 功能 代码 在 一 起 。 在 检查 完成 之 后 ，Mondrian 会 给 相 
应 的 CL 审阅 者 发 送 一 封包 含 这 个 CL 链接 的 通知 邮件 。 随 后 审阅 者 会 
进行 代码 审查 ， 并 把 修改 建议 发 回 给 SWE 去 处 理 。 这 个 过 程 会 反复 进 
行 ， 直 到 提交 者 和 审阅 者 都 满意 为 止 。 


提交 队列 (AEE: submit queue) 的 主要 功能 是 保持 “绿色 ”的 构 
建 ， 这 意味 着 所 有 测试 必须 全 部 通过 。 这 是 构建 系统 和 版 本 控制 系统 
之 间 的 最 后 一 道 防线 。 通 过 在 干净 环境 中 编译 代码 并 运行 测试 ， 提 交 
队列 系统 可 以 捕获 在 开发 机 器 上 无 法 发 现 的 环境 错误 ， 但 这 会 导致 构 
建 失败 ， 甚 至 是 导致 版 本 控制 系统 中 的 代码 处 于 不 可 编译 的 状态 。 

规模 较 大 的 团队 可 以 利用 提交 队列 在 同一 个 代码 分 文 上 进行 开 
发 。 如 果 没 有 提交 队列 ， 通 常 在 代码 集成 或 每 轮 测 试 时 都 会 把 代码 冻 
结 ， 使 用 提交 队列 就 可 以 避免 这 个 问题 。 在 这 种 模式 下 ， 提 交 队 列 可 
以 使 得 规模 较 大 团队 束 像 小 团队 一 样 ， 高 效 且 独 立 。 由 于 这 样 增加 了 
开发 提交 代码 的 频率 ， 势 必 给 SET 的 工作 带 来 了 较 大 难度 ， 这 可 能 是 唯 


EE 


提交 队列 和 持续 集成 构建 由 来 


by Jeff Carollo 

在 Google 规 模 还 很 小 的 初期 ， 有 一 个 约定 的 习俗 束 是 在 代码 提交 
之 前 需要 运行 所 有 已 经 编写 好 的 单元 测试 ， 用 以 验证 这 次 代码 变更 的 
质量 是 否 满足 要 求 。 测 试 运行 失败 的 情况 常常 会 发 生 ， 大 家 不 得 不 伦 
时 间 去 找到 问题 的 根源 并 加 以 修复 。 

公司 在 不 断 变 大 ， 为 了 市 省 资源 ， 高 质量 的 公共 基础 库 补 工程师 
们 编写 实现 、 维 护 和 共用 。 且 随 着 时 间 的 变化 ， 这 些 核心 公共 代码 在 
数量 上 、 规 模 上 和 复杂 性 上 都 有 显著 的 增长 。 在 这 个 时 候 ， 仅 仅 依 靠 
单元 测试 束 不 够 了 ， 在 一 些 与 外 部 公共 库 或 框架 有 交互 的 地 方 还 需要 
依赖 集成 测试 的 验证 。 此 时 Google 也 发 现 许 多 测试 运行 失败 的 原因 都 
是 由 于 其 外 部 依赖 所 导致 。 但 在 没有 代码 提交 之 前 ， 这 些 测 试 不 会 被 
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这 个 时 候 “ 单 元 测试 展板 (Unit Test Dashboard) ”出 现 了 。 这 个 系 
统 把 所 有 公司 代码 库 的 一 级 目录 都 作为 一 个 “项 目 *"， 当 然 也 允许 目 己 


增加 自 定 义 的 “项 目 ”， 只 要 提供 一 系列 构建 和 测试 维护 人 员 信 息 即 
可 。 这 个 系统 会 每 日 运行 所 有 项 目的 测试 。 在 展板 上 展示 一 个 报表 ， 
记录 着 每 个 项 目的 测试 通过 与 失败 比率 。 每 日 运行 失败 的 项 目 维 护 者 
也 会 收 到 一 封 相应 的 通知 邮件 ， 虽 人 然 测试 运行 失败 通常 不 会 持续 太 长 
的 时 间 ， 但 依然 还 会 有 失败 的 情况 发 生 。 

有 些 团 队 和 希望 能 够 尽早 知道 哪些 代码 变更 可 能 引起 构建 失败 。 
24 小 时 才 运 行 一 次 所 有 测试 已 经 不 能 满足 要 求 。 个 别 团 队 融 开始 去 编 
写 持续 构建 脚本 ， 在 专用 机 器 上 持续 不 断 地 构建 并 运行 相应 的 单元 测 
试 与 集成 测试 。 后 来 发 现 这 个 系统 具有 一 定 的 通用 性 ， 也 可 以 用 来 文 
持 其 他 团队 ，Chris Lopez 和 Jay Corbett 就 一 起 编写 了 “Chris 人 /Jay 持续 构 
建 ”* 工 具 ， 其 他 团队 通过 注册 一 台 机 帮 、 填 写 一 个 配置 文件 和 运行 一 个 
脚本 ， 就 能 够 运行 目 己 的 持续 集成 了 。 这 很 快 变 成 了 一 个 标准 做 法 ， 
后 来 几乎 所 有 的 Google 项 目 都 在 使 用 Chris/Jay 持 续 构 建 工 具 。 在 测试 
运行 失败 之 后 ， 会 给 最 近 一 次 提交 代码 的 开发 人 员 发 送 一 封 通知 邮 
件 ， 因 为 他 们 极 有 可 能 是 导致 测试 失败 的 元 凶 。 男 外 ，Chris/Jay 持 续 构 
建 工 具 找 出 了 “黄金 变更 列表 ”， 这 些 代码 变更 在 版 本 控制 系统 上 得 到 
确认 ， 所 有 相关 的 测试 和 构建 都 已 经 成 功 通过 。 这 样 开发 可 以 得 到 干 
韶 的 代码 版 本 而 不 受到 最 近 提 交代 码 的 影响 ， 最 近 提 交 的 代码 可 能 会 
导致 构建 失败 (对 于 挑选 用 于 发 布 的 版 本 会 非常 有 帮助 ) 。 

还 有 部 分 团队 希望 能 够 更 早 地 捕获 引起 构建 失败 的 代码 变更 。 随 
着 项 目 规模 和 复杂 上 度 的 上 升 ， 一 旦 发 生 构建 失败 就 已 经 有 些 晚 了 ， 职 
需要 花费 很 大 代价 去 修复 。 出 于 保护 持续 构建 系统 的 目的 ， 提 交 队 列 
就 出 现 了 。 在 早期 实现 版 本 中 ， 所 有 等 答 提 交 的 CL 必须 逐个 排队 ， 等 
等 测试 ， 如 果 测 斌 通过 则 证 明 这 个 CL 是 没有 问题 的 ， 可 以 提交 进 代 码 
库 (因此 也 需要 排队 ) 。 当 有 大 量 长 时 间 运 行 的 测试 需要 执行 时 ，CL 
在 发 送 给 提交 队列 和 CL 真 正 被 提交 到 源码 库 之 间 可 能 需要 消耗 数 小 
时 ， 这 确实 也 很 常见 。 在 后 来 的 实现 中 ， 人 允许 所 有 等 待 的 CL 在 互相 隔 


离 的 前 提 下 ， 并 发 地 构建 并 运行 测试 。 这 样 的 改进 可 能 会 引起 一 些 竞 
争 条 件 的 出 现 ， 但 实际 上 很 少 发 生 ， 他 们 最 终 也 都 会 被 持续 构建 系统 
所 捕获 。 快 速 地 提交 代码 ， 省 下 的 时 间 远 远大 于 解决 偶尔 需要 修复 持 
续 构 建 错误 的 上 时间。 多 数 Google 大 型 项 目 都 在 使 用 提交 队列 ,项目 成 
员 会 轮流 做 “构建 警察 >， 构建 警察 的 职责 是 快速 啊 应 处 理 任 何在 提交 
队列 和 持续 构建 系统 中 遇 到 的 问题 。 

整套 系统 (单元 测试 展板 、Chris/Jay 持 续 构 建 工 具 和 提交 队列 ) 在 
Google 存 活 了 相当 长 的 时 间 ( 数 以 年 计 ) 。 它 们 只 需 很 少 的 搭建 时 间 
成 本 和 不 同 程度 的 维护 工作 ， 但 却 给 团队 提供 了 极 大 的 帮助 。 可 以 这 
样 讲 ， 它 已 经 成 为 一 个 实用 可 行 的 公用 基础 工具 ， 为 所 有 团队 在 系统 
集成 方面 提供 帮助 。 测 斌 自动化， 简写 TAP (译注 : Test Automation 
Program) 就 是 这 样 做 的 。TAP 几 乎 应 用 于 所 有 的 Google 项 目 ， 但 
Chromium 和 Android 除外 (它们 是 开源 项 目 ， 使 用 了 不 同 代码 库 和 构 
建 环境 ) 。 

里 然 所 有 的 团队 使 用 相同 的 一 套 工 具 和 基础 框架 有 一 定 的 益处 ， 
但 这 些 益 处 也 不 能 人 被 过 分 夸大 。 有 些 人 简单 的 小 工具 也 可 以 解决 现实 问 
题 。 工 程 师 使 用 一 个 简单 的 命令 在 云端 提交 CL、 并 发 构建 、 运 行 所 有 
可 能 涉及 的 测试 代码 ， 并 将 运行 结果 可 视 化 地 展示 在 一 个 永久 的 网 站 
上 。 在 命令 运行 终端 也 会 显示 "成功 ”\“ 失 败 ”， 以 及 指 回 任务 详情 的 超 
链接 。 如 采 开 发 选择 使 用 这 样 的 方式 ， 他 的 测试 结果 〈 包 括 履 盖 率 信 
息 ) 就 会 被 存储 在 云端 ， 并 通过 Google 内 部 代码 审查 工具 对 所 有 的 代 
码 审查 者 可 见 。 


2.1.9 SET 的 工作 流程 : 一 个 实例 


现在 让 我 们 把 所 有 与 SET 相关 的 东西 拼 疼 在 一 起 ， 看 一 个 完整 的 实 
例 。 需 要 注意 的 是 ， 这 部 分 将 涉及 部 分 技术 内 容 ， 且 会 深入 到 某 些 确 
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假设 有 一 个 简单 的 网 络 应 用 ， 它 的 功能 是 允许 用 户 向 Google 提 交 
URL， 并 把 这 个 URL 增 加 到 Google 的 索引 文件 之 中 。HTML 的 网 页 表单 
页 面 上 接收 两 个 字段 ， un 和 相应 的 注释 ， 然 后 同 Google 的 服务 右 发 送 
类 似 以 下 的 一 个 HTTP GET 请 求 。 

GET /addurl?url-http://www.foo.com&comment-Foo-*comment 
HTTP/1.1 

在 这 个 例子 中 ， 这 个 web 应 用 的 服务 器 端 分 成 至 少 两 部 分 : 前端 服 
务 AddUrlFrontend HTTP 请 求 ， 并 做 解析 和 验证 工作 ) 
和 后 端 服务 AddUrlService。 这 个 后 端 服务 接受 来 目 于 前 端 服务 
AddUrlFrontend 的 请 求 ， 检 查 es ?有 错 ， 并 与 后 端 数 据 存储 持久 层 

( fj 如 Google 的 Bigtable ( 译注 : 
http://labs.google.com/papers/bigtable.html) 或 GFS Goolge 文 件 系统 OF 
注 : http://labs.google.com/papers/gfs.html) 进行 交互 。 

SWE 针 对 这 个 服务 ， 要 做 的 第 一 件 事 就 是 为 这 个 项 目 创建 一 个 目 
录 。 

$ mkdir depot/addurl/ 

他 们 使 用 Google Protocol Buffer 描述 性 语言 ( 注 : 
http://code.google.com/apis/protocol buffers/ docs/overview.html ) 定义 
AddUrlService 的 协议 。 

File: depot/addurl/addurl.proto 


message AddUrlRequest { 
required string url = 1; // The URL entered by the user. 
optional string comment = 2; // Comments made by the user. 


i 
message AddUrlReply { 


// Error code,if an error occurred. 

optional int32 error_code = 1; 

// Error message, if an error occurred. 

optional string error_details = 2; 

} 

service AddUrlService { 

// Accepts a URL for submission to the index. 

rpc AddUrl(AddUrlRequest) returns (AddUrlReply) { 

option deadline = 10.0; 

} 

} 

上 面 的 “addurl.proto" 文 件 定义 了 三 个 重要 部 分 : AddUrlRequest 的 
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通过 碍 看 AddUrlRequest 消 息 的 定义 ， 我 们 可 以 知道 调用 者 必须 提 
供 一 个 由 字段 ， 而 另外 一 个 comment 字 段 是 可 选 的 。 

类 似 地 ， 通 过 检查 AddUrlReply 消 息 的 定义 ， 我 们 可 以 知道 
error code 和 error_details 两 个 服务 器 提供 的 啊 应 字段 都 是 可 选 的 。 我 们 
可 以 安全 地 假设 : 当 一 个 URL 被 成 功 接收 以 后 这 些 字 段 一 般 情 况 下 会 
返回 为 空 ， 这 样 也 可 以 最 小 化 中 间 的 数据 传输 量 。 这 是 Google 的 惯 
例 ， 让 各 见 的 场景 快速 运行 。 

通过 查看 AddUrlService 服务 的 定义 可 以 知道 单一 服务 方法 一 一 
AddUrl， 接 受 一 个 AddUrlRequest 并 返回 一 个 AddUrlReply。 默认 情 况 
下 ， 如 有 果 client 在 调用 AddUrl 之 后 10 秒 还 没有 收 到 任何 回应 就 会 超时 。 
AddUrlService 在 实现 上 会 与 后 端 持 久 数 据 存储 层 再 做 交互 ， 但 client 并 
不 需要 关心 这 一 部 分 细节 ， 所 以 在 “addurl.proto” 文 件 中 没有 这 部 分 接口 
的 定义 详情 。 


在 消息 字段 中 出 现 的 “=1” 并 不 是 指 这 个 字段 的 值 。 这 种 使 用 方法 


是 为 了 允许 协议 将 来 升级 使 用 。 例 如 ， 以 后 某 人 可 能 想 增 加 一 个 额外 
的 uri 字 段 到 AddUrliRequest 消 恩 中 。 为 了 实现 这 个 ， 他 们 可 以 做 如 下 变 


更 。 


message AddUrlRequest { 

required string url = 1; // The URL entered by the user. 
optional string comment = 2; // Comments made by the user. 
optional string uri = 3; // The URI entered by the user 

} 
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使 用 相同 的 数值 ， 老 版 本 和 新 版 本 之 间 束 会 体 持 兼容 性 。 


my, 


message AddUrlRequest { 

required string uri = 1; // The URI entered by the user. 

optional string comment = 2; // Comments made by the user. 

} 

在 完成 addurl.proto 以 后 ， 开 发 人 员 可 以 为 proto_library 创 建构 建 规 
根据 addurl.proto 中 定义 的 字段 自动 产生 C++ 源 文件 并 编译 成 一 个 


C++ 静 态 库 《增加 额外 的 选项 ， 也 可 以 绑 定 到 其 他 语言 ， 如 Java 或 
Ptyhon) 。 


File: depot/addurl/BUILD 
proto_library(name=”addurl”, 


srcs=[“addurl.proto” ]) 


开发 人 员 使 用 构建 系统 ， 并 修复 在 构建 过 程 中 可 能 出 现 的 


addurl.proto 问 题 或 构建 定义 文件 中 的 问题 。 构 建 系统 会 调用 Protocol 
Buffer 编译 器 ， 产 生源 码 文 件 addurl.pb.h 和 addurl.pb.cc， 同 时 会 产生 一 
个 可 以 被 链接 的 静态 库 adurl。 


现在 可 以 新 建文 件 addurl_frontend.h， 并 在 其 中 定义 AddUrlFrontend 
类 。 代 码 大 体 如 下 。 

File: depot/addurl/addurl_frontend.h 

#ifndef ADDURL_ADDURL_FRONTEND_H_ 

#define ADDURL_ADDURL_FRONTEND_H_ 

// Forward-declaration of dependencies. 

class AddUrlService; 

class HTTPRequest; 

class HTTPReply; 

// Frontend for the AddUrl system. 

// Accepts HTTP requests from web clients, 

// and forwards well-formed requests to the backend. 

class AddUrlFrontend { 

public: 

// Constructor which enables injection of an 

// AddUrlService dependency. 

explicit AddUrlFrontend(AddUrlService* add_url_service); 

~AddUrlFrontend(); 

// Method invoked by our HTTP server when a request arrives 

// for the /addurl resource. 

void HandleAddUrlFrontendRequest(const HTTPRequest* 
http_request, 

HTTPReply* http_reply); 

private: 

AddUrlService* add url service ; 

// Declare copy constructor and operator- private to prohibit 


// unintentional copying of instances of this class. 


AddUrlFrontend(const AddUrlFrontend&); 

AddUrlFrontend& operator=(const AddUrlFrontend& rhs); 

p 

#endif // ADDURL ADDURL FRONTEND H . 

继续  AddUrlFrontend 类 的 实现 部 分 ， 开 发 人 员 创 建 
*addurl frontend.cc" 文件 。 这 是 AddUrlFrontend 类 的 主要 逻辑 实现 癌 
分 ， 为 了 简短 说 明 ， 省 略 了 部 分 文件 内 容 。 

File: depot/addurl/addurl_frontend.cc 

#include “addurl/addurl_frontend.h” 

#include “addurl/addurl.pb.h” 

#include “path/to/httpqueryparams.h” 

// Functions used by HandleAddUrlFrontendRequest() below,but 

// whose definitions are omitted for brevity. 

void ExtractHttpQueryParams(const HTTPRequest* http request, 

HTTPQueryParams* query. params); 

void WriteHttp200Reply(HTTPReply* reply); 

void WriteHttpReplyWithErrorDetails( 

HTTPReply* http reply,const AddUrlReply& add url reply); 

// AddUrlFrontend constructor that injects the AddUrlService 

// dependency. 

AddUrlFrontend::AddUrlFrontend(AddUrlService* add_url_service) 

: add_url_service_(add_url_service) { 

} 

// AddUrlFrontend destructor - there's nothing to do here. 

AddUrlFrontend::~AddUrlFrontend() { 

} 

// HandleAddUrlFrontendRequest: 


// Handles requests to /addurl by parsing the request, 

// dispatching a backend request to an AddUrlService backend, 

// and transforming the backend reply into an appropriate 

// HTTP reply. 

// 

// Args: 

// http request - The raw HTTP request received by the server. 

// http reply - The raw HTTP reply to send in response. 

void AddUrlFrontend::HandleAddUrlFrontendRequest( 

const HT TPRequest* http request, HT'TPReply* http reply) { 

// Extract the query parameters from the raw HTTP request. 

HTTPQueryParams query_params; 

ExtractHttpQueryParams(http_request,&query_params); 

// Get the ‘url’ and ‘comment’ query components. 

// Default each to an empty string if they were not present 

// in http_request. 

string url = query_params.GetQueryComponentDefault(“url’,“”’); 

string comment 
query_params.GetQueryComponentDefault(“comment”,“”); 

// Prepare the request to the AddUrlService backend. 

AddUrlRequest add url. request; 

AddUrlReply add url reply; 

add url request.set url(url); 

if (!Icomment.empty()) 1 

add url request.set comment(comment); 

} 

// Issue the request to the AddUrlService backend. 


RPC rpc; 

add_url_service_->AddUrl( 

&rpc,&add_url_request,&add_url_reply); 

// Block until the reply is received from the 

// AddUrlService backend. 

rpc. Wait(); 

// Handle errors,if any: 

if (add_url_reply.has_error_code()) { 

WriteHttpReplyWithErrorDetails(http_reply,add_url_reply); 

} else { 

// No errors.Send HTTP 200 OK response to client. 

WriteHttp200Reply(http_reply); 

} 

} 
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Web 处 理 函 数 大 多 如 此 。 开 发 人 员 可 以 通过 提取 一 些 功能 到 helper 函 数 
中 ， 用 来 简化 这 个 函数 。 但 是 ， 类 似 这 样 的 重 构 在 构建 稳定 之 前 和 单 
元 测试 编写 完成 并 可 以 顺利 通 而 过 运行 之 前 是 是 很 少 去 做 的 。 

在 这 个 时 候 ， 开 发 人 员 修 改 已 有 addurl 项 目的 构建 文件 ， 为 
addurl_frontend 库 增加 入 口 。 在 构建 的 时 候 会 产生 一 个 C++ 静态 库 
AddUrlFrontend ° 

File: /depot/addurl/BUILD 


# From before: 


proto_library(name=”addurl”, 
srcs=[“addurl.proto” ]) 
# New: 


cc library(name-"addurl frontend", 


srcs-[*addurl frontend.cc"], 

deps=[ 

“path/to/httpqueryparams”, 

"other http server stuff", 

“:addurl”,# Link against the addurl library above. 

)) 

再 次 运行 构建 工具 ， 同 时 修复 在 编译 链接 addurl_frontend.h 和 
addurl frontend.cc 过 程 中 可 能 出 现 的 错误 ， 直 到 所 有 编译 和 链接 不 出 现 
警告 和 错误 为 止 。 此 时 ， 可 以 去 编写 AddUrlFrontend 的 单元 测试 代码 
了 。 单 元 测试 在 男 外 一 个 新 文件 “addurl_frontend_test.cc” 中 。 在 测试 中 
定义 一 个 虚假 (fake) 的 后 端 服务 ， 使 用 AddUrlFrontend 的 构造 函数 
可 以 把 这 个 虚假 的 后 端 服务 在 运行 时 刻 调 用 。 这 样 的 话 ， 香 元 测试 在 
运行 时 ， 无 需 修改 AddUrlFrontend 代 码 本 身 ， 代 码 逻 辑 能 够 进入 
AddUrlFrontend 内 部 期 望 分 文中 或 错误 流程 里 (译注 : 阅读 以 下 代码 需 
要 提前 了 解 Google's framework for writing C++ test， 即 googletest， 参 见 


https://code.google.com/p/googletest/) ° 
File: depot/addurl/addurl_frontend_test.cc 
#include “addurl/addurl.pb.h” 
#include “addurl/addurl_frontend.h” 
// See http://code.google.com/p/googletest/ 
#include “path/to/googletest.h” 
// Defines a fake AddUrlService,which will be injected by 
// the AddUrlFrontendTest test fixture into AddUrlFrontend 
// instances under test. 
class FakeAddUrlService : public AddUrlService { 
public: 
FakeAddUrlService() 


: has_request_expectations_(false), 

error code (0) {} 

// Allows tests to set expectations on requests. 

void set. expected url(const string& url) { 

expected url - url; 

has request expectations = true;} 

void set. expected comment(const string& comment) 1 
expected comment = comment; 

has request expectations - true; 

} 

// Allows for injection of errors by tests. 

void set_error_code(int error_code) { 

error_code_ = error_code; 

} 

void set_error_details(const string& error_details) { 
error_details_ = error_details; 

} 

// Overrides of the AddUrlService::AddUrl method generated from 
// service definition in addurl.proto by the Protocol Buffer 
// compiler. 

virtual void AddUrl(RPC* rpc, 

const AddUrlRequest* request, 

AddUrlReply* reply) { 

// Enforce expectations on request (if present). 

if (has_request_expectations_) { 
EXPECT_EQ(expected_url_,request->url()); 
EXPECT_EQ(expected_comment_,request->comment()); 


} 

// Inject errors specified in the set_* methods above if present. 
if (error code != 0 || !error_details_.empty()) { 
reply->set_error_code(error_code_); 
reply->set_error_details(error_details_); 

} 

} 

private: 

// Expected request information. 

// Clients set using set_expected_* methods. 

string expected_url_; 

string expected comment ; 

bool has request. expectations ; 

// Injected error information. 

// Clients set using set * methods above. 

int error code ; 

string error details ; 

}; 

// The test fixture for AddUrlFrontend.It is code shared by the 
// TEST_F test definitions below.For every test using this 

// fixture,the fixture will create a FakeAddUrlService,an 

// AddUrlFrontend,and inject the FakeAddUrlService into that 
// AddUrlFrontend.Tests will have access to both of these 

// objects at runtime. 

class AddurlFrontendTest : public ::testing::Test | 

protected: 


// Runs before every test method is executed. 


virtual void SetUp() { 

// Create a FakeAddUrlService for injection. 

fake add url service .reset(new FakeAddUrlService); 

// Create an AddUrlFrontend and inject our FakeAddUrlService 
// into it. 

add_url_frontend_.reset( 

new AddUrlFrontend(fake add url service .get()));) 
scoped_ptr<FakeAddUrlService> fake add url service ; 
scoped_ptr<AddUrlFrontend> add url frontend ; 

}; 

// Test that AddurlFrontendTest::SetUp works. 
TEST_F(AddurlFrontendTest,FixtureTest) { 

// AddurlFrontendTest::SetUp was invoked by this point. } 

// Test that AddUrlFrontend parses URLs correctly from its 
// query parameters. 

TEST F(AddurlFrontendTest,ParsesUrlCorrectly) { 
HTTPRequest http request; 

HTTPReply http reply; 

// Configure the request to go to the /addurl resource and 

// to contain a ‘url’ query parameter. 

http request.set text( 

“GET /addurl?url=http://www.foo.com HTTP/1.1\r\n\r\n”); 

// Tell the FakeAddUrlService to expect to receive a URL 

// of ‘http://www.foo.com’. 
fake_add_url_service_->set_expected_url(“http://www.foo.com”); 
// Send the request to AddUrlFrontend,which should dispatch 
// a request to the FakeAddUrlService. 


add_url_frontend_->HandleAddUrlFrontendRequest( 
&http_request,&http_reply); 

// Validate the response. 

EXPECT STREQ(*200 OK”, http_reply.text()); 

} 

// Test that AddUrlFrontend parses comments correctly from its 
// query parameters. 

TEST F(AddurlFrontendTest,ParsesCommentCorrectly) 1 
HTTPRequest http request; 

HTTPReply http reply; 

// Configure the request to go to the /addurl resource and 

// to contain a ‘url’ query parameter and to also contain 

// a ‘comment’ query parameter that contains the 

// url-encoded query string *Test comment'. 

http request.set text(^GET /addurl?url=http://www.foo.com” 
“&comment=Test+comment HTTP/1.1\r\n\r\n”); 

// Tell the FakeAddUrlService to expect to receive a URL 

// of ‘http://www.foo.com’ again. 
fake_add_url_service_->set_expected_url(“http://www.foo.com”); 
// Tell the FakeAddUrlService to also expect to receive a 

// comment of “Test comment’ this time. 
fake_add_url_service_->set_expected_comment(“Test comment”); 
// Send the request to AddUrlFrontend,which should dispatch 
// a request to the FakeAddUrlService. 
add_url_frontend_->HandleAddUrlFrontendRequest( 
&http_request,&http_reply); 


// Validate that the response received is a ‘200 OK’ response. 


EXPECT STREQ(*200 OK”, http_reply.text()); 

} 

// Test that AddUrlFrontend sends proper error information when 

// the AddUrlService encounters a client error. 

TEST F(AddurlFrontendTest,HandlesBackendClientErrors) { 

HTTPRequest http request; 

HTTPReply http reply; 

// Configure the request to go to the /addurl resource. 

http request.set text(^GET /addurl HTTP/1.1\r\n\r\n”); 

// Configure the FakeAddUrlService to inject a client error with 

// error code 400 and error details of ‘Client Error’. 

fake add url service -^set error code(400); 

fake add url service -»set error details( Client Error"); 

// Send the request to AddUrlFrontend,which should dispatch 

// a request to the FakeAddUrlService. 

add url frontend -^HandleAddUrlIFrontendRequest( 

&http request, &http reply); 

// Validate that the response contained a 400 client error. 

EXPECT_STREQ(“400\r\nError Details: Client Error", 

http reply.text()); 

} 

通常 情况 下 开发 人 员 会 写 更 多 的 测试 用 例 ， 但 这 里 只 是 通过 上 面 
的 示例 来 演示 通用 模式 ， 即 如 何 定义 Fake 对 象 、 如 何 注入 这 个 Faoke 对 
象 、 在 测试 中 如 何 调用 这 个 Fake 对 象 来 引入 期 待 的 错误 并 验证 程序 逻 
辑 ， 上 面 的 例子 就 已 经 足够 了 。 有 一 个 需要 注意 的 地 方 ， 那 就 是 此 例 
中 我 们 缺少 了 模拟 AddUrlFrontend 和 FakeAddUrlService 之 间 的 网 络 超 


时 。 这 说 明 我 们 的 开发 人 员 起 记 了 去 处 理 在 超时 条 件 下 的 检查 验证 逻 
辑 。 

有 经 验 的 敏捷 测试 高 手 会 指出 il 有 测试 使 用 FakeAddUrlService 有 
点 单一 ， 也 可 以 使 用 mock 来 奉 换 。 这 个 高 手 的 建议 是 对 的 。 我 们 使 用 
一 个 fake 只 是 为 了 纯粹 的 演示 目的 。 

现在 我 们 的 开发 人 员 想 去 运行 这 些 测试 ， 他 必须 先 要 修改 构建 定 
义 文件 ， 把 新 测试 代码 addurl_frontend_test 添 加 到 构建 规则 中 去 。 

File: depot/addurl/BUILD 

# From before: 

proto_library(name=”addurl”, 

srcs=[“addurl.proto” ]) 

# Also from before: 

cc library(name-"addurl frontend", 

srcs-[*addurl frontend.cc"], 

deps=[ 

“path/to/httpqueryparams”, 

"other http server stuff", 

“:addurl”,# Depends on the proto library above. 

]) 

# New: 

cc_test(name=”addurl_frontend_test”, 

size-"small",2 See section on Test Sizes. 

srcs-[*addurl frontend test.cc"], 

deps=[ 

“:addurl_frontend”,# Depends on library above. 


“path/to/googletest_main”]) 


开发 人 员 再 一 次 使 用 构建 工具 编译 运行 addurl_frontend_test 程序 ， 
修复 构建 中 可 能 出 现 的 编译 链接 错误 ， 这 次 也 会 修复 测试 程序 的 错 
误 ， 包 括 测 斌 套件、fake 和 AddUrlFrontend 本 续 的 错误 。 上 壕 过 程 在 
FixtureTest 定 义 之 后 束 会 迅速 展开 ， 后面 的 用 例 添加 之 后 也 会 重复 上 面 
的 过 程 。 当 测试 都 通过 之 后 ， 开 发 人 员 会 创建 一 个 包含 所 有 这 些 文件 
的 代码 变更 CL， 修 复 代 码 检 查 工 具 提 示 的 小 问题 ， 再 把 这 个 CL 发 出 
去 做 代码 审查 ， 然 后 就 去 做 另外 的 工作 (很 可 能 是 实现 一 个 真实 的 后 


JS AddUrlServicelkós) ， 并 等 待 代码 审查 的 结果 反馈 o 
$ create_cl BUILD \ 
addurl.proto \ 


addurl_frontend.h \ 
addurl_frontend.cc \ 
addurl_frontend_test.cc 
$ mail_cl -m reviewer@google.com 
当代 码 审 查 反 馈 结 果 出 来 之 后 ， 开 发 人 员 会 做 适当 的 修改 (或 与 
审查 者 一 起 协商 方案 ) ， 很 可 能 需要 再 次 审查 ， 然 后 将 这 个 CL 提交 到 
代码 库 之 中 。 从 此 刻 起 ， 不 管 什么 时 候 如 果 有 人 修改 了 这 里 面 的 任何 
X, Google 的 自动 化 测试 系统 就 会 感知 ， 并 运行 addurl_frontend_test 
这 个 测试 来 验证 是 否 新 的 修改 导致 已 有 测试 用 例 运 行 失 败 。 另 外 ， 如 
果 有 人 尝试 去 修改 addurl_frontend.cc，addurl_frontend_test 束 像 一 个 安 
全 保护 网 一 样 目 动 运行 并 进行 保护 。 


2.1.10 测试 执行 


然而 ， 测 试 目 动 化 不 仅仅 是 目 动 化 测试 程序 的 编写 。 如果 想 让 这 
些 测试 程序 有 价值 ， 必 须要 去 考虑 如 何 编译 测 斌 程序、 执行、 分 析 、 
存储 和 报告 所 有 测试 运行 结果 ， 这 些 都 是 目 动 化 测试 会 遇 到 的 挑战 。 


在 软件 开发 过 程 中 测试 目 动 化 想 真 正 发 挥 作用 ， 还 要 凭借 其 自身 的 努 
Jj 

除了 要 关注 如 何 正确 编写 自动 化 程序 之 外 ， 还 要 把 工程 师 的 注意 
力 转 移 到 在 实际 项 目 中 如 何 更 大 发 挥 目 动 化 测试 的 价值 上 。 只 有 能 加 
速 开发 过 程 的 目 动 化 测试 才 有 意义 ， 测 试 不 应 拖 慢 开发 的 速度 。 
此 ， 目 动 化 必须 与 开发 过 程 真正 集成 在 一 起 ， 并 使 之 成 为 开发 过 程 的 
一 部 分 ， 而 不 是 孤立 它 。 功 能 代码 从 来 都 不 像 真空 一 样 孤 立 存在 ， 测 
试 代码 也 古 如 此 。 

因此 ， 一 个 可 以 做 代码 编译 、 测 斌 执行、 结果 分 析 、 数 据 存 储 、 
报表 展示 的 通用 的 测试 框架 逐渐 形成 了 。 事 情 正在 向 我 们 期 得 的 方向 
上 发 展 Google 工 程 师 专 注 于 测试 程序 的 编写 、 运 行 的 细节 留 给 通用 
基础 执行 框架 。 对 于 工程 师 来 说 ， 测 试 代码 和 功能 代码 一 样 ， 都 是 代 
RB o 

在 SET 新 增 一 个 测试 程序 之 后 ， 同 时 会 针对 这 个 测试 创建 一 个 构建 
说 明文 件 。 这 个 测试 程序 的 构建 文件 包括 测试 名 称 、 源 码 文件 、 依 赖 
库 及 数据 、 还 要 指明 其 规模 大 小 。 每 一 个 测试 程序 必须 要 标明 它 的 规 
模 是 小 型 、 中 型 、 大 型 还 是 超大 型 。 在 编写 完 测 试 程序 和 构建 文件 之 
后 ， 后 面 就 交 给 Google 构 建 工 具 和 测试 执行 框架 了 。 从 提交 时 刻 开 
始 ， 一 个 命令 束 可 以 触发 构建 、 运 行 自 动 化 、 展 示 运 行 结果 了 。 

Google 的 测试 执行 框架 对 我 们 如 何 编 写 测试 程序 有 一 定 的 要 求 限 
制 。 这 些 要 求 是 怎样 的 以 及 我 们 是 如 何 应 对 处 理 的 ， 在 后 面 会 做 更 多 


解释 。 


2.1.11 测试 大 小 的 定义 


随 着 Google 不 断 的 成 长 和 新 员工 不 断 的 增加 ， 一 些 令 人 疑惑 的 测 
试 类 型 方面 的 专业 术语 持续 不 断 地 涌现 出 来 : 单元 测试 、 代 码 级 别 测 


试 、 日 盒 测 试 、 集 成 测试 、 系 统 测试 、 端 到 端 测试 等 ， 从 不 同 的 粒度 
级 别 来 表 壕 测试 的 类 型 ， 如 图 2.1 所 示 。 在 不 久 前 ， 我 们 终于 觉得 入 无 
WA, Pea oes IE a 。 


对 于 每 一 次 代码 提交 ，Google 

有 一 系列 不 同 测试 方法 。 从 针对 
一 孤立 代码 段 的 单元 测试 a à Od yt 1303 dA 
/ 到 UI 界面 的 自动 化 测试 来 模 \ 

TUB PES 像 “ 单 击 向 后 按 ， 
\ 钮 …… 回 到 之 前 页 面 P 


j be LE 


“再 到 模糊 测试 发 送 \ 
随机 的 输入 数据 给 被 | P 
测 应 用 系统 
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图 2.1 Google 执 行 了 许多 不 同类 型 的 测试 

1. 小 型 测试 

小 型 测试 是 为 了 验证 一 个 代码 单元 的 功能 ， 一 般 与 运行 环境 隔 
离 ， 例 如 针对 一 个 独立 的 类 或 一 组 相关 函数 的 测试 。 小 型 测试 的 运行 
不 需要 外 部 依赖 。 在 Google 之 外 ， 小 型 测试 通常 束 是 单元 测试 。 

小 型 测试 是 所 有 测试 类 型 里 范畴 最 小 的 ， 一 般 集中 精力 在 函数 级 
别 的 独立 操作 与 调用 上 ， 如 图 2.2 所 示 。 这 样 限 定 了 范畴 的 测试 可 以 提 
供 更 加 全 面 的 底层 代码 覆盖 率 ， 而 其 他 类 型 的 测试 无 法 做 到 这 一 点 。 


A 图 2.2 小 型 测试 的 范畴 ， 一 般 只 涉及 单一 的 函数 

在 小 型 测试 里 ， 外 部 服务 (如 文件 系统 、 网 络 、 数 据 库 ) 必须 通 
过 模拟 或 虚假 实现 (mock& fake) 。 为 了 减少 依赖 ， 适 当 的 时 候 也 可 
模拟 实现 被 测 类 所 在 模块 的 内 部 服务 。 

范畴 隔离 且 没 有 外 部 依赖 ， 这 让 小 型 测试 可 以 在 很 短 时 间 内 就 运 
行 结束 。 因 此 ， 它 们 的 执行 频率 也 会 更 加 频繁 ， 并 且 可 以 很 快 整 会 发 
现 问 题 。 通 常情 况 下 ， 在 开发 人 员 修 改 了 他 们 的 功能 代码 之 后 束 会 了 


刻 运 行 这 些 测 试 ， 当 然 他 们 还 要 维护 这 些 测试 代码 。 范 畴 隔离 可 以 使 
构建 与 测试 执行 时 间 变 短 。 

2. 中 型 测试 

中 型 测试 是 验证 两 个 或 多 个 模块 应 用 之 间 的 交互 ， 如 图 2.3 所 示 。 
和 小 型 测试 相 比 ， 中 型 测试 有 着 更 大 的 范畴 且 运 行 所 需要 的 时 间 也 更 
久 。 小 型 测试 会 尝试 走 遍 单独 函数 的 所 有 路 径 ， 而 中 型 测试 的 主要 目 
标 是 验证 指定 模块 之 间 的 交互 。 在 Google 之 外 ， 中 型 测试 经 常 被 称 为 
“集成 测试 ”。 

中 型 测试 运行 的 时 间 需 要 更 久 ， 需 要 测试 执行 工具 在 执行 频率 上 
加 以 控制 ， 不 能 像 小 型 测试 那样 频繁 地 运行 。 一 般 情 况 下 是 由 SET 来 组 
织 运行 中 型 测试 。 

对 于 中 型 测试 ， 鼓 励 使 用 模拟 技术 (mock) 来 解决 外 部 服务 的 依 
赖 问题 ， 但 这 不 是 强制 的 ， 如 出 于 性 能 考 虚 可 以 不 使 用 模拟 技术 。 轻 
量 级 的 虚假 实现 (fake) ， 如 常 驻 内 存 的 数据 库 ， 在 不 能 使 用 mock 的 
场景 下 可 以 用 来 提升 性 能 。 


图 2.3 中 型 测试 涉及 多 个 模块 并 且 依赖 外 部 数据 


> 


3. 对 于 大 型 测试 

在 Google 之 外 通 稼 被 称 为 “系统 测试 ?或 * 端 到 闪 测 试 ”。 大 型 测试 
在 一 个 较 高 层次 上 和 运行， 验证 系统 作为 一 个 整体 是 如 何 工作 的 。 这 涉 
及 应 用 系统 的 一 个 或 所 有 子 系统 ， 从 前 端 界 面 到 后 痢 数 据 储存 ， 如 图 
2.4 所 示 。 该 测试 也 可 能 会 依赖 外 部 资源 ， 如 数据 库 、 文 件 系 统 、 网 络 


服务 等 。 


4 图 2.4 大 型 测试 或 者 超大 型 测试 ， 包 括 在 端 到 端 执行 过 程 中 涉及 的 所 有 模块 
注意 
小 型 测试 是 为 了 验证 一 个 代码 单元 的 功能 。 中 型 测试 验证 两 个 或 
多 个 模块 应 用 之 间 的 交互 。 大 型 测试 是 为 了 验证 整个 系统 作为 一 个 整 
体 是 如 何 工作 的 。 


2.1.12 测试 规模 在 共享 测试 平台 中 的 使 用 


使 用 统一 的 运行 方式 来 执行 不 同 的 目 动 化 测试 是 有 一 定 难度 的 。 
对 于 一 个 大 型 工程 组 织 来 说 ， 如 果 想 使 用 通用 的 测试 执行 平台 ， 那 么 


这 个 平台 必须 文 持 运 行 各 种 各 样 的 测试 任务 。 

使 用 Google 测 试 执行 平台 运行 的 一 些 通用 任务 如 下 。 

开发 人 员 编 译 和 运行 小 型 测试 ,希望 立刻 就 能 知道 运行 结果 。 

开发 人 员 硕 望 运 行 一 个 项 目的 所 有 小 型 测试 ， 并 能 够 快速 知道 运 
(BEES 

开发 人 员 只 有 在 变更 代码 出 现时 ， 才 布 望 去 编译 运行 相关 的 项 目 
测试 ， 并 即刻 得 到 运行 结 

工程 师 斋 望 能 够 知道 一 个 项 目的 测试 覆 副 率 并 查看 结 末 。 

对 项 目的 每 次 代码 变更 (CL) ， 都 能 够 运行 这 个 项 目的 小 型 测 
试 ， 并 将 运行 结 采 发 送 给 团队 成 员 以 辅助 进行 代码 审查 。 

在 代码 变更 (CL) 提交 到 版 本 控制 系统 之 后 ， 自 动 运行 项 目的 所 
有 测试 。 

团队 布 望 每 周 都 能 得 到 代码 覆盖 率 ， 并 实时 跟 中 覆盖 率 的 变化 。 

上 面 提 及 的 所 有 任务 ， 有 可 能 同时 并 发 提交 到 Google 测 试 执行 系 
统 。 一 些 测试 可 能 极度 消耗 资源 ， 使 得 公用 测试 机 器 处 于 不 可 用 状态 
达 数 小 时 。 另 外 一 些 测试 可 能 只 需 几 毫秒 ， 而 且 可 以 和 其 他 几 百 个 任 
务 同 时 在 一 台 机 右上 并 发 运行 。 当 每 一 个 测试 都 被 标记 为 小 型 、 中 
型 、 大 型 的 时 候 ， 调 度 运行 这 些 测 试 任务 就 会 变 得 相对 简单 一 些 ， 
为 调度 器 已 经 知道 每 个 任务 需要 运行 的 时 间 ， 这 样 可 以 优化 任务 队 
列 ， 达 到 合理 利用 的 目的 。 

Google 测 试 执行 系统 利用 了 测试 规模 的 定义 ， 把 运行 较 快 的 任务 
从 较 慢 的 任务 中 挑选 出 来 。 测 试 规模 在 测试 运行 时 间 上 规定 了 一 个 最 
大 值 ， 如 表 2.1 所 示 ; 同时 测试 规模 在 测试 运行 消耗 资源 上 也 做 了 要 
求 ， 如 表 2.2 所 示 。Google 测 试 执行 系统 在 发 现任 何 测试 超时 ， 或 是 消 
耗 的 资源 超过 这 个 测试 规模 应 该 使 用 的 资源 有 时， 会 把 这 个 测试 任务 取 
消 掉 并 报告 这 个 错误 。 这 会 迫使 工程 师 提供 合适 的 测试 规模 标签 。 精 


准 的 测试 规模 ， 可 以 使 Google 测 试 执行 系统 在 调度 时 做 出 明智 的 决 


DM 


KE ? 


#21 ae —— 间 的 目标 和 


时 间 目 标 〈 每 个 函数 ) | 10 毫秒 以 内 1 秒 以 内 尽 可 能 尽 可 能 快 
强制 时 间 限 制 1 分 钟 之 后 强制 结束 ”|5 分 钟 之 后 强制 结 15 分 钟 之 后 强制 结束 | 1 小 时 之 后 强制 结束 


表 2.2 针对 不 同 测试 规模 的 资源 使 用 情况 


网 络 服务 〈 建 立 一 个 链接 ) 模拟 


a | Fz 


访问 用 户 界面 系统 是 不 鼓励 模拟 
系统 调用 是 不 鼓励 


2.1.13 测试 规模 的 益处 


每 一 种 测试 规模 都 带 来 了 一 些 益处 ， 如 图 2.5 所 示 。 每 种 测试 规模 
的 优点 和 缺点 也 都 罗列 在 这 里 以 供 参考 和 比较 。 
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A 图 2.5 不 同 测试 规模 类 型 的 限制 


1. 大 型 测试 

大 型 测试 的 优点 和 缺点 包括 如 下 。 

测试 最 根本 最 重要 的 : 在 考虑 外 部 系统 的 情况 下 应 用 系统 是 如 何 
工作 的 。 

由 于 对 外 部 系统 有 依赖 ， 因 此 它们 是 非 确 定性 的 。 

很 宽 的 测试 范畴 意味 着 如 果 测 试 运行 失败 ， 寻 找 精 准 失 败 根 源 惑 
会 比较 困难 。 

测试 数据 的 准备 工作 会 非常 耗 时 。 

大 型 测试 是 较 高 层次 的 操作 ， 如 有 果 想 要 走 到 特定 的 代码 路 径 区 域 
是 不 切实 际 的 ， 而 这 一 部 分 却 是 小 型 测试 的 专长 。 

2. 中 型 测试 

中 型 测试 的 优点 和 缺点 包括 如 下 。 

由 于 不 需要 使 用 mock 技 术 ， 且 不 受 运行 时 刻 的 限制 ， 因 此 该 测试 
是 从 大 型 测试 到 小 型 测试 之 间 的 一 个 过 渡 。 

因为 它们 运行 速度 相对 较 快 ， 所 以 可 以 频繁 地 运行 它们 。 


它们 可 以 在 标准 的 开发 环境 中 运行 ， 因 此 开发 人 员 也 可 以 很 容易 


它们 依赖 外 部 系统 。 

由 于 对 外 部 系统 有 依赖 ， 因 此 它们 本 身 就 有 不 确定 性 。 

它们 的 运行 速度 没有 小 型 测试 快 。 

3. 小 型 测试 

小 型 测试 的 优点 和 缺点 包括 如 下 。 

为 了 更 容易 地 就 被 测试 到 ， 代 码 应 清晰 干净 、 画 数 规模 较 小 且 重 
点 集中 。 为 了 方便 模拟 ， 系 统 之 间 的 接口 需要 有 良好 的 定义 。 

由 于 它们 可 以 很 快运 行 完毕 ， 因 此 在 有 代码 变更 发 生 的 时 候 就 可 
以 立刻 运行 ， 从 而 可 以 较 早 地 发 现 缺 陷 并 提供 及 时 的 反馈 。 

在 所 有 的 环境 下 它们 都 可 以 可 靠 地 运行 。 

它们 有 较 小 的 测试 范围 ， 这 样 可 以 很 容易 地 做 边界 场景 与 错误 条 
件 的 测试 ， 例 如 一 个 空 指针 。 

它们 有 特定 的 范畴 ， 可 以 很 容易 地 隔离 错误 。 

不 要 做 模块 之 间 的 集成 测试 ， 这 是 其 他 类 型 的 测试 要 做 的 事情 
(中 型 测试 ) 。 

有 时 候 对 子 系统 的 模拟 是 有 难度 的 。 

使 用 mock 或 fake 环 境 ， 可 以 不 与 真实 的 环境 同步 。 

小 型 测试 带 来 优秀 的 代码 质量 、 良 好 的 异常 处 理 、 优 雅 的 错误 报 
告 ， 大 中 型 测试 带 来 整体 产品 质量 和 数据 验证 。 单 一 的 测试 类 型 不 能 
解决 所 有 项 目 需 求 。 正 是 由 于 这 个 原因 ，Google 项 目 维护 着 一 个 不 同 
测试 类 型 之 间 的 健康 比例 。 对 于 一 个 项 目 ， 如 果 全 部 使 用 大 型 的 端 到 
端 自 动 化 测试 是 错误 的 ， 全 部 使 用 小 型 的 单元 测试 同样 也 是 错误 的 。 

注意 

小 型 测试 带 来 优秀 的 代码 质量 、 良 好 的 异常 处 理 、 优 雅 的 错误 报 
告 ; 大 中 型 测试 会 带 来 整体 产品 质量 和 数据 验证 。 


检验 一 个 项 目 里 小 型 测试 、 中 型 测试 和 大 型 测试 之 间 的 比率 是 否 
健康 ， 一 个 好 办 法 是 使 用 代码 覆盖 率 。 测 试 代码 履 盖 率 可 以 针对 小 型 
测试 、 中 大 型 测试 分 别 单 独 产 生 报 告 。 禾 盖 率 报告 会 针对 不 同 的 项 目 
展示 一 个 可 被 接受 的 履 盖 率 结 采 。 如 有 果 中 大 型 测试 只 有 20% 的 代码 窗 盖 
率 ， 而 小 型 测试 有 近 100% 的 黎 兰 率 ， 则 说 明 这 个 项 目 缺乏 端 到 病 的 功 
能 验证 。 如 果 结 有 末 数 字 反 过 来 了 ， 则 说 明 这 个 项 目 很 难 去 做 升级 扩展 
和 维护 ， 由 于 小 型 测试 较 少 ， 就 需要 大 量 的 时 间 消 耗 在 底层 代码 调试 
查 错 上 。Google 工 程 师 可 以 使 用 构建 与 运行 测试 时 使 用 的 工具 ， 来 产 
生 并 查看 测试 履 盖 率 结 果 ， 只 需要 在 命令 行 中 额外 增加 一 个 选项 即 
可 。 和 窗 盖 率 结 有 果 会 存储 在 云端 ， 任 何 工 程 师 在 公司 内 网 络 环境 下 都 可 
以 通过 浏 贤 絮 查看 这 些 报告 。 

Google 有 许多 不 同类 型 的 项 目 ， 这 些 项 目 对 测试 的 需求 也 不 同 ， 
小 型 测试 、 中 型 测试 和 大 型 测试 之 间 的 比例 随 着 项 目 团队 的 不 同 而 不 
同 。 这 个 比例 并 不 是 固定 的 ， 总 体 上 有 一 个 经 难 法 则 ， 即 70/20/10 原 
WW: 70% 有 是 小 型 测试 ，20% 是 中 型 测试 ，10% 是 大 型 测试 。 如 果 一 个 项 
目 是 面向 用 户 的 ， 拥 有 较 高 的 集成 度 ， 或 者 用 户 接口 比较 复杂 ， 他 们 
束 应 该 有 更 多 的 中 型 和 大 型 测试 ， 如果 是 基础 平台 或 者 面向 数据 的 项 
目 ， 例 如 索引 或 网 络 仆 忠 ， 则 最 好 有 大 量 的 小 型 测试 ， 中 型 测试 和 大 
型 测试 的 数量 要 求 会 少 很 多 。 

男 外 有 一 个 用 来 监视 测试 覆盖 率 的 内 部 工具 是 Harvester ° Harvester 
是 一 个 可 视 化 的 工具 ， 可 以 记录 所 有 项 目的 CL 历史 ， 并 以 图 形 化 的 方 
式 展示 ， 例 如 测试 代码 和 CL 中 新 增 代 码 的 比率 、 代 码 变 更 的 多 少 、 按 
时 间 的 变化 频率 、 按 照 开发 人 员 的 变化 次 数 ， 等 等 。 这 些 图 形 的 目的 
是 展示 随 着 时 间 的 变化 ， 测 试 的 变化 趋势 是 怎样 的 。 


2.1.14 测试 运行 要 求 


无 论 测 试 规模 的 大 小 是 什么 ， 由 于 Google 的 测试 执行 系统 是 一 个 
公用 环境 ， 因 此 就 要 求 测试 本 身 满足 下 面 几 个 条 件 。 

每 个 测试 和 其 他 测试 之 间 都 是 独立 的 ， 使 它们 束 能 够 以 任意 顺序 
来 执行 。 

测试 不 做 任何 数据 持久 化 方面 的 工作 。 在 这 些 测 试用 例 离开 测试 
环境 的 时 候 ， 要 保证 测试 环境 的 状态 与 测试 用 例 开始 执行 之 前 的 状态 
XE FER ° 

这 两 个 要 求 比较 简单 也 很 容易 理解 ， 但 必须 严格 遵守 。 测 试 本 喘 
会 尽 可 能 地 遵守 要 求 ， 但 被 测 系 统 却 有 可 能 违背 原则 ; 保存 数据 或 修 
改 环境 配置 信息 。 幸 运 的 是 ，Google 测 试 执行 环境 提供 了 许多 特性 可 
以 确保 这 些 要 求 比较 容易 束 得 到 满足 。 

由 于 测试 用 例 有 独立 运行 的 要 求 ， 在 运行 时 刻 ， 工 程 师 通 过 设置 
一 个 标记 束 能 以 随机 的 顺序 来 执行 它们 。 这 样 也 可 以 找到 那些 对 执行 
顺序 有 要 求 的 用 例 。 总 之 , “任意 顺序 ?意味 着 可 以 并 发 执行 用 例 。 测 
试 执 行 系统 可 以 选择 在 同一 个 机 器 上 同时 执行 两 个 用 例 ， 但 如 果 每 个 
用 例 都 要 求 独 占 系统 某 些 资源 ， 其 中 一 个 用 例 束 可 能 运行 失败 。 例 如 
以 下 几 种 情况 。 

两 个 测试 都 要 绑 定 同一 个 端口 ， 用 以 接收 来 目 网 络 的 数据 。 

两 个 测试 需要 在 同一 个 路 径 下 创建 相同 的 目录 。 

一 个 测试 希望 创建 并 使 用 一 个 数据 库 表 ， 而 另外 一 个 测试 想 删除 
这 个 数据 库 表 。 

这 种 类 型 的 冲突 ， 不 仅 会 导致 目 己 的 用 例 运 行 失 败 ， 而 且 可 能 会 
导致 测试 执行 系统 中 其 他 正在 运行 的 用 例 也 失败 ， 即 便 男 外 的 用 例 已 
经 遵守 了 规则 。 测 试 执行 系统 可 以 找 出 这 些 测试 用 例 ， 并 通知 给 相应 
的 用 例 负 责 人 。 画 外 ， 通 过 设置 一 个 特殊 标记 ， 用 例 可 以 在 指定 的 机 
器 上 以 独立 排他 的 方式 运行 。 但 排他 的 方式 运行 只 是 一 个 临时 方案 。 
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的 依赖 。 下 面 的 做 法 可 以 帮助 解决 一 些 问题 。 

在 测试 执行 系统 中 ， 让 每 个 测试 用 例 获取 一 个 未 被 使 用 的 端口 ， 
并 让 被 测 系 统 动态 地 绑 定 到 这 个 端口 上 。 

在 测试 执行 之 前 ， 为 每 一 个 测试 用 例 在 临时 目录 下 创建 目录 和 文 
件 ， 并 使 用 独一无二 的 目录 名 。 

每 个 测试 运行 在 目 己 的 数据 库 实 例 之 上 ， 使 用 与 环境 隔离 的 目录 
和 端口 。 这 些 都 由 测试 执行 系统 来 控制 。 

Google 全 力 维护 其 测试 执行 系统 ， 甚 至 文档 也 非常 详尽 。 这 些 文 
档 存放 在 Google 的 “测试 百科 全 书 * 中 ， 这 里 有 对 其 运行 使 用 的 资源 所 做 
的 最 终 解 释 。“ 测 试 百 科 全 书 ”> 有 点 像 IEEE RFC (译注 : IEEE 定 义 的 正 
式 标准 ，RFC 是 Request for Comment 的 简写 ) ， 明 确 使 用 “必须 ?或 “应 
该 > 这样 的 字样 ， 并 在 其 中 详细 解释 了 角色 、 测 试用 例 职 责 、 测 试 执行 
者 、 集 群 系统 、 运 行 时 刻 的 libc、 文 件 系 统 等 。 

许多 Google 工程 师 感觉 没有 太 多 必要 去 阅读 “测试 百科 全 书 ”， 他 
们 从 其 他 人 号 上 了 解 这 方面 的 知识 ， 或 者 从 不 断 的 试验 错误 中 得 到 教 
训 ， 也 在 代码 评审 中 收 到 改进 反馈 。 他 们 不 知道 ， 公 用 测试 执行 环境 
能 够 服务 于 所 有 Google 项 目 ， 其 中 背后 的 细节 都 已 在 文档 之 中 。 他 们 
也 不 知道 ， 在 公用 执行 环境 中 的 运行 结果 为 什么 与 工作 机 器 上 的 运行 
结果 一 致 ， 背 后 的 原因 也 都 在 文档 里 了 。 对 于 测试 执行 系统 平台 的 使 
用 用 户 来 说 ， 细 万 实现 是 透明 的 。 所 有 的 一 切 都 能 正常 工作 。 
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by Pooja Gupta,Mark Ivey,and John Penix 
在 开发 过 程 中 ， 持 续集 成 系统 在 保证 软件 正常 工作 方面 发 挥 着 重 
要 作用 。 多 数 持续 集成 系统 按照 下 面 基本 步骤 工作 。 
(1) 得 到 最 新 的 代码 。 


2) 运行 所 有 的 测试 。 
3) 报告 运行 结 
(4) SD LE -— (3) zm 

在 代码 规模 较 小 时 ， 上 述 过 程 可 以 很 容易 地 工作 ， 代 码 变化 不 
多 ,测试 也 可 以 很 快 束 运行 结束 。 随 着 代码 库 中 的 代码 不 断 增加 ， 这 
样 一 个 系统 的 效率 就 会 下 降 。 每 次 全 新 地 取出 干净 代码 再 运行 耗 时 较 
大 ， 多 次 变更 被 秽 强 地 塞 进 一 次 测试 运行 之 中 。 如 果 运 行 失 败 ， 对 于 
团队 来 说 ， 发 现 定 位 这 个 错误 并 回 深 ， 将 成 为 了 一 个 漫长 且 易 异 的 过 
程 。 

Google 的 软件 开发 过 程 在 速度 和 规模 上 日 新 月 异 。Google 代 码 库 
每 分 钟 都 会 收 到 多 于 20 次 的 变更 申请 ，50% 的 文件 每 个 月 都 会 发 生变 
化 。 每 个 产品 的 发 布 从 “ 涉 * 开 始 束 依赖 于 目 动 化 测试 去 验证 产品 功 
能 。 发 布 的 频率 根据 产品 团队 不 同 ， 也 从 每 天 数 次 到 几 周 一 次 不 等 。 

拥有 如 此 庞大 且 不 停 变化 的 代码 库 ， 为 了 保持 构建 始终 保持 “ 绿 
色 *”， 束 需要 花费 大 量 的 时 间 做 维护 。 一 个 持续 集成 系统 ， 如 果 测 试 失 
败 ， 应 该 可 以 提供 具体 哪 次 代码 变更 导致 失败 ， 而 不 是 给 出 一 堆 可 疑 
的 变更 列表 ， 或 消耗 较 长 时 间 做 二 分 查找 从 而 定位 具体 哪 次 代码 变更 
导致 了 问题 的 发 生 。 为 了 精确 定位 哪 次 代码 变更 导致 测试 用 例 运 行 失 
败 ， 我 们 可 以 针对 每 次 代码 变更 运行 所 有 的 测试 ， 但 这 样 做 的 代价 也 
是 非常 昂贵 的 。 

为 了 解决 这 个 问题 ， 我 们 对 持续 集成 系统 做 了 优化 ， 如 图 2.6 所 
示 。 利 用 依赖 分 析 技 术 寻 找 所 有 可 能 受 影响 的 模块 ， 针 对 一 个 代码 变 
更 只 运行 受 影响 模块 的 测试 。 这 个 系统 在 Google 云 计算 平台 上 构建 ， 
使 得 许多 构建 可 以 并 发 执行 ， 并 在 代码 变更 提交 的 时 候 立 刻 运行 可 能 
受 影响 模块 的 测试 。 

这 里 用 一 个 示例 来 说 明 我 们 的 系统 是 如 何 提供 更 快 反馈 的 ， 与 传 
统 持 续 构 建 系统 相 比 ， 我 们 的 反馈 内 容 也 会 更 加 精准 。 在 这 个 示例 


中 ， 我 们 使 用 了 两 个 测试 (gmail client tests,gmail server tests) 和 三 
个 可 能 会 影响 这 两 个 测试 的 代码 变更 (change #1,#2,#3) ° 
gmail_server_tests 运 行 失败 由 变更 妃 导致 ， 而 传统 的 持续 集成 系统 只 能 
告诉 我 们 可 能 是 变更 失 或 变更 #33 引 起。 通过 使 用 并 发 构建 ， 我 们 不 必 
等 构建 测试 运行 全 部 结束 就 可 以 开始 新 的 测试 。 依 赖 分 析 针 对 每 一 次 
代码 变更 会 限制 执行 测 斌 次数， 所 以 此 例 中 ， 测 斌 执行 的 总 数 与 之 前 
是 相同 的 。 
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change #1 change #3 
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gmail_client_tests gmail_client_tests 
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A 图 2.6 典型 持续 集成 系统 

持续 集成 系统 使 用 构建 系统 中 的 构建 依赖 规则 。 在 这 个 规则 中 描 
述 了 代码 是 如 何 编译 、 数 据 文 件 是 怎样 集成 在 一 起 成 为 应 用 程序 的 ， 
以 及 测试 如 何 运 行 等 信息 。 这 个 构建 规则 中 详细 定义 了 构建 所 需 的 输 
入 输出 。 持 续集 成 系统 在 内 存 中 维护 了 图 2.7 所 示 的 一 个 构建 依赖 图 ， 
并 随 着 代码 的 变更 而 时 刻 保持 最 新 状态 。 如 果 有 代码 变更 提交 ， 可 以 


很 快 就 计算 得 知 哪 些 依赖 模块 可 能 会 受到 影响 (直接 或 间接 ) ， 然 后 
重 狐 运行 构建 测试 ， 获 得 最 新 执行 状态 。 让 我 们 再 看 一 个 例子 。 


GMAIL BUZZ 
Test Target: Test Targets: 


name: //depot/gmail_client_tests name: //depot/buzz_server_tests 
name: //depot/gmail_server_tests name: //depot/buzz_client_tests 


buzz_client_tests gmail_client_tests 


youtube_client gmail_client 


图 2.7 构建 依赖 示例 

我 们 观察 两 个 独立 的 代码 变更 ， 它 们 发 生 在 依赖 树 的 不 同 深度 
上 ， 通 过 分 析 来 决定 哪些 测试 会 受 影响 。 这 些 受 影响 的 测试 就 是 需要 
运行 的 最 小 集合 测试 ， 它 们 用 来 保证 GMAIL 和 BUZZ 项 目的 构建 保持 

1. 案 例 : 在 通用 库 上 的 代码 变更 

对 于 第 一 个 场景 ， 考 虑 common_collection_util 部 分 的 代码 修改 ， 如 
图 2.8 所 示 。 
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common collections util 


图 2.8 文件 common_collections_util.h 中 发 生 代码 变更 


当 这 个 代码 变更 CL 提交 时 ， 我 们 沿 着 依赖 图 向 上 找到 所 有 依赖 于 
它 的 测试 。 当 这 个 查找 结束 时 (实际 上 只 需要 一 瞬间 ) ， 我 们 发 现 所 
有 的 测试 都 需要 运行 。 在 运行 之 后 ， 根 据 运 行 结果 更 新 项 目的 构建 状 
态 ， 如 图 2.9 所 示 。 


buzz_client_tests gmail_client_tests gmail_server_tests 
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youtube_server 


youtube client gmail client 


于 代码 变更 而 被 影响 到 的 测试 

2. 案 例 : 在 一 个 依赖 项 目 上 的 代码 变更 

对 于 第 二 个 场景 ， 我 们 来 看 如 果 在 youtube_client 的 部 分 做 一 些 代 
码 变 更 ， 如 图 2.10 所 示 。 


A 图 2.9 


buzz_client_tests gmail_client_tests gmail_server_tests buzz_server_tests 


buzz_client buzz_server 


youtube_client gmail_client gmail_server youtube_server 


common_collections_util 


图 2.10 youtube_client 中 出 现 了 代码 变更 

经 过 展开 统一 的 分 析 之 后 ， 我 们 发 现 只 有 buzz_client_tests 受 到 影 
啊 ， 只 有 buzz 项 目的 状态 需要 更 新 ， 如 图 2.11 所 示 。 

在 这 个 示例 中 ， 我 们 展示 了 如 何 优化 每 次 代码 变更 后 触发 的 测试 
执行 次 数 。 对 于 一 个 项 目 来 说 ， 并 没有 牺牲 结果 的 准确 度 。 每 次 运行 
较 少 的 测试 ， 可 以 让 我 们 有 机 会 针对 每 一 次 代码 变更 都 运行 其 所 有 可 
能 受 影响 的 测试 。 对 开发 人 员 来 说 ， 排 查 导致 构建 失败 的 代码 变更 会 
更 容易 一 些 。 

在 持续 集成 系统 中 使 用 更 加 智能 的 分 析 工 具 与 云 计 算 平台 ， 让 整 
个 运行 过 程 更 加 迅速 和 稳定 。 当 我 们 持续 不 断 地 在 改进 这 个 系统 时 , 
成 和 于 上 万 鸭 Google 项 目 已 经 在 使 用 这 套 平 台 了 。 这 样 做 不 但 有 利于 加 
快 项 目 进 度 ， 而 且 进 度 对 于 用 户 也 是 可 见 的 。 


> 


只 有 buzz client tests 会 执行 ， 
只 有 buzz 项 目 需 要 更 新 。 


buzz_client_tests gmail_client_tests gmail_server_tests buzz_server_tests 
C buzz client > buzz server 
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common collections util 


A [2.11 buzz 需 要 更 新 


2.2 测试 认证 


Patrick Copeland 在 本 书 的 序 中 强调 了 让 开发 人 员 参 与 测试 的 难 
度 。 招 聘 到 技术 能 力 强 的 测试 人 员 只 是 刚刚 开始 的 第 一 步 ， 我 们 依然 
需要 开发 人 员 参 与 进来 一 起 做 测试 。 其 中 我 们 使 用 的 一 个 关键 方法 就 
是 被 称 为 “测试 认证 ” (译注 : Test Certified) 的 计划 。 现 在 回 过 头 来 再 
看 ， 这 个 计划 对 开发 人 员 做 测试 这 个 根深 蒂 固 文化 的 形成 有 着 巨大 的 
帮助 。 

测试 认证 最 初 以 竞赛 的 方式 进行 。 如 采 我 们 把 测试 认证 做 成 一 个 
二 有 声望 的 事情 ， 这 会 让 开发 对 测试 重视 起 来 吗 ? 如 果 开 发 人 员 遵 循 
一 些 特定 的 测试 实践 ， 并 拿 到 期 望 的 结果 ， 我 们 能 说 他 们 通过 了 认证 
吗 ? 然后 再 给 他 们 授予 一 个 象征 性 的 徽章 ( 见 图 2.12) ， 使 得 他 们 拥有 
AEN] PR IST? 


m mm 
cd: cl da telat > qo lad 
A 212.12 在 项 目 wiki 页 面 上 的 测试 认证 勋章 
好 吧 ， 测 试 认 证 是 : 如 有 果 一 个 团队 完成 了 一 系列 的 测试 任务 ， 这 
个 团队 会 得 到 一 个 通过 “认证 ”的 标识 。 所 有 团队 最 初 的 级 别 都 是 0。 如 
果 掌 握 了 基本 的 优秀 代码 习惯 ， 就 达到 级 别 1， 然 后 继续 通过 水 平 考 
核 ， 最 终 达 到 级 别 5， 与 外 部 的 能 力 成 熟 度 模型 一 样 ， 例 如 CMM 能 
成 熟 度 模型 (译注 :  http//www.sei.cmu.edu/cmmi/start/fag/related- 


faq.cfm) ° 
测试 认证 级 别 摘要 


测试 认证 级 别 摘要 

级 别 1 

使 用 测试 覆盖 率 工具 。 

使 用 持续 集成 。 

测试 分 级 为 小 型 、 中 型 、 大 型 。 

明确 标记 哪些 测试 是 非 确 定性 的 测试 (译注 ， 非 确定 性 测试 指 测 
试 结果 不 确定 的 用 例 ) 。 

创建 冒 烟 测 试 集合 


级 别 2 
如 果 有 测试 运行 结果 为 红色 (译注 :表示 运行 失败 的 用 例 ) 就 不 
会 做 发 布 。 


在 每 次 代码 提交 之 前 部 要 求 通过 冒 烟 济 试 。 
各 种 类 型 测试 的 整体 增 量 窗 孟 率 要 大 于 50% 。 


小 型 测试 的 增 量 覆盖 率 要 大 于 10% © 

每 一 个 功能 特性 至 少 有 一 个 与 之 对 应 的 集成 测试 用 例 。 

级 别 3 

所 有 重要 的 代码 变更 都 要 经 过 测试 。 

小 型 测试 的 增 量 覆盖 率 要 大 于 509% 。 

新 增 的 重要 功能 都 要 经 过 集成 测试 的 验证 。 

级 别 4 

在 提交 任何 新 代码 之 前 都 会 自动 运行 冒 烟 测 试 。 

冒 烟 测试 必须 在 30 分 钟 内 运行 完毕 

没有 不 确定 性 的 测试 。 

总 体 测试 覆盖 率 应 该 不 小 于 40%。 

小 型 测试 的 代码 覆盖 率 应 该 不 小 于 25% 。 

所 有 重要 的 功能 都 应 该 被 集成 测试 验证 到 o 

级 别 5 

对 每 一 个 重要 的 缺陷 修复 都 要 增加 一 个 测试 用 例 与 之 对 应 。 

积极 使 用 可 用 的 代码 分 析 工 具 。 

总 体 测 试 履 盖 率 不 低 于 60% 。 

小 型 测试 的 代码 覆盖 率 应 该 不 小 于 40% © 

最 初 这 个 计划 在 一 些 测试 意识 较 高 的 团队 中 缓慢 试 水 ， 这 些 团 队 
成 员 热 囊 于 改进 他 们 的 测试 实践 。 经 过 在 这 几 个 团队 的 成 功 试验 之 
后 ， 一 个 规模 更 大 的 、 公 司 级 别 的 认证 竞赛 开始 推行 起 来 了 ， 然 后 在 
新 加 入 的 团队 中 再 推行 这 个 计划 就 变 得 容易 的 多 。 
这 并 不 像 一 些 人 想象 的 那么 难以 被 接受 ， 开 发 团队 也 从 中 收益 顾 
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开发 团队 得 到 许多 优秀 测试 人 员 的 关注 ， 这 些 测试 人 员 一 般 都 报 
名 成 为 测试 认证 教练 。 在 一 个 测试 资源 稀缺 的 文化 氛围 里 ， 注 册 参 加 
这 个 项 目 会 吸引 到 比 一 般 团队 更 多 的 测试 人 员 的 加 入 。 


他 们 获得 专家 的 指导 ， 并 学 习 到 如 何 更 好 地 编写 小 型 测试 。 

他 们 知道 哪个 团队 在 测试 上 做 的 比较 好 ， 并 同 这 个 团队 学 习 。 

他 们 能 够 回 其 他 的 认证 级 别 较 低 的 团队 进行 炫 粹 。 

经 过 公司 级 别 的 推进 ， 绝 大 多 数 团 队 都 在 不 断 向 前 进步 ， 并 意识 
到 这 个 计划 的 重要 性 。 一 些 在 这 个 计划 中 表现 不 错 的 开发 忆 监 会 得 到 
工程 生产 力 团 队 的 优秀 反馈 ， 而 咀 笑 这 个 计划 的 团队 也 会 置 目 身 于 危 
险 之 中 。 换 句 话说 ， 在 一 个 测试 资源 相对 黎 缺 的 公司 里 ， 哪 个 团队 会 
舍得 与 工程 生产 力 团 队 玲 远 呢 ?但 并 非 哪 里 都 是 鲜花 与 掌声 ， 让 运行 
这 个 计划 的 负责 人 来 给 我 们 讲述 完整 的 故事 吧 。 

2.2.1 与 测试 认证 计划 创始 人 的 访谈 

本 访谈 的 作者 和 四 名 Google 工 程 师 坐 在 一 起 ， 他 们 曾 为 测试 认证 
计划 的 开展 起 到 了 关键 性 的 作用 。Mark Striebeck 是 Gmail 的 开发 经 
理 ; Neal Norwitz 是 关注 开发 速度 工具 的 SWE; Tracy Bialik 和 Russ 
Rnutfer 是 非 管理 角色 的 SET， 他 俩 是 公司 级 别 最 高 的 SET， 也 都 是 资深 级 
的 工程 师 。 

HGTS: 测试 认证 计划 的 起 源 是 什么 ?最初 测 试 认 证 团队 试图 去 解 
决 什么 样 的 问题 ? 现在 这 个 计划 竹 试 去 解决 的 问题 相 比 还 是 同样 的 问 
题 吗 ? 

Tracy: 我 们 企图 去 改变 Google 的 开发 文化 ， 想 把 测试 工作 也 变 
成 每 个 功能 开发 人 员 的 职责 。 大 家 共享 许多 在 测试 方面 有 积极 意义 的 
经 验 ， 并 鼓励 整个 团队 都 去 做 测试 。 有 些 团 队 比较 感 兴趣 ， 但 不 知道 
具体 怎样 去 操作 。 另 外 的 一 些 团 队 会 把 “提高 测试 ”作为 团队 目标 或 绩 
效 (译注 : objectives and key results， 简 写 OKRs， 是 个 人 、 团 队 ， 甚 至 
公司 每 个 季度 都 要 订 制 的 目标 。 基 本 上 这 些 事情 都 需要 个 人 或 团队 完 
BÀ) ， 这 通常 并 没有 什么 实际 的 可 操作 性 ， 有 点 像 把 “减肥 ”作为 新 的 
年 度 目 标 一 样 。 那 样 其 实 也 没什么 不 好 ， 至 少 有 崇高 的 目标 。 但 是 ， 
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千 万 不 要 感觉 奇怪 。 

测试 认证 计划 提供 了 小 而 清晰 且 可 操作 的 步 又 给 团队 去 执行 。 级 
别 1 是 做 基本 准备 : 建立 测试 运行 的 自动 化 机 制 、 收 集 测试 覆盖 率 、 去 
除 所 有 非 确定 性 的 测试 、 挑 选 冒 烟 测 试 集合 (如 果 全 部 目 动 化 测试 运 
行 比较 耗 时 的 话 ) 。 级 别 越 高 就 会 变 得 越 难 ， 也 需要 越 成 熟 的 测试 
度 。 级 别 2 开 始 着 重 提高 增 量 覆盖 率 。 级 别 3 重 点 十 测试 新 增 代码 。 级 
别 4 的 重点 是 测试 历史 遗留 代码 ， 通 常情 况 下 需要 针对 可 测试 性 做 一 些 
重 构 。 级 别 5 要 求 更 好 的 整体 铸 届 率 ， 针 对 每 个 缺陷 都 增加 测试 用 例 ， 
并 要 求 使 用 已 有 可 用 的 静 仿 与 动态 分 析 检 查 工具 。 

现在 ， 所 有 Google 的 人 都 已 经 知道 测试 是 功能 开发 人 员 的 责任 。 
虽然 最 早 的 问题 已 经 得 到 了 解决 ， 但 是 我 们 依然 需要 为 团队 提供 更 高 
的 测试 成 熟 能 力度 而 做 一 些 事情 。 测 试 认证 持续 不 断 地 在 为 这 个 目标 
服务 。 

HGTS: 测试 认证 团队 最 初 从 SWE 那 里 收集 到 的 反馈 是 怎样 的 ? 

Neal: 测试 认证 计划 太 难 了 。 他 们 认为 我 们 把 目标 设 定 的 过 高 ， 
结果 导致 许多 团队 还 在 初级 层 里 挣扎 。 我 们 需要 重新 设 定 认 证 级 别 ， 
设 定 为 使 他 们 只 要 在 空 采 时 间 里 努力 就 可 以 达到 的 级 别 。 当 时 Google 
的 工具 也 有 一 些 问题 ， 而 且 我 们 当时 要 求 的 一 些 想 法 太 过 超前 。 对 于 
参与 的 同事 们 来 说 的 确 难 以 去 开展 进行 ， 因 此 我 们 不 得 不 考虑 提供 
些 容易 达成 的 目标 ， 使 他 们 相信 目 己 在 不 断 地 进步 中 。 

Mark: 年 的 ， 我 们 不 得 不 把 目标 网 下 做 了 几 轮 调整 。 我 们 设置 了 
一 些 更 加 实际 的 目标 ， 试 图 在 半路 上 与 他 们 相遇 。 当 然 最终 还 是 要 达 
成 我 们 的 终极 目标 ， 只 是 需要 的 时 间 更 长 。 虽 然 我 们 并 不 在 意 时 间 变 
长 ， 但 还 是 硕 望 在 某 些 地 方 可 以 加 速 。 我 们 把 第 一 个 级 别 修改 为 "搭建 
持续 集成 环境 ， 保 证 建成 ， 并 清楚 目 己 的 测试 覆盖 率 ”。 这 些 是 很 容易 


达到 的 ， 但 它 建立 起 一 些 制 度 并 使 大 家 的 状态 从 无 变 到 有 ， 并 产生 积 
极 回 上 的 动力 。 

HGTS: 有 谁 迫不及待 地 想 参 与 进来 ? 

Neal: 最 早 参 与 的 人 通常 是 测试 圈子 里 的 人 。 这 一 小 群 人 定期 举 
行 会 议 ， 多 数 是 对 测试 非常 热 囊 的 人 。 我 们 慢 慢 地 把 其 他 认识 的 人 也 
拉 进 来 。 当 时 有 许多 热心 的 积极 参与 者 ， 这 对 我 们 来 说 是 个 惊喜 。 我 
们 通过 ToTT GE: ToTT， 是 Testing on the TIoilet 的 简写 ， 直 译 为 “马桶 
上 的 测试 *”。 本 书 前 面 的 内 容 也 有 所 提 及 ， 在 Google 测 试 博客 
“http://googletesting.blogspot.com” 上 经 常 出 现 ) 和 其 他 的 一 些 活动 把 测 
试 搞 得 充满 热情 ， 更 有 趣味 和 吸引 力 ， 包 括 fixits ( 注 : fixits 是 另外 一 
个 Google 的 文化 活动 ， 促 使 人 们 一 起 “修复 ”一 些 注定 要 损坏 的 东西 。 
队 可 能 会 举行 一 个 fixit 来 降低 bug， 男 外 一 些 团 队 或 许 会 搞 一 个 针对 安 
全 测试 方面 的 fixit， 也 可 以 用 来 在 c 代 码 中 增加 #include 的 使 用 或 者 用 
以 重 构 。fixit 可 以 跨越 拉 术 领域 ， 可 以 用 来 增加 咖啡 饮 的 食物 或 电 样 让 
会 议 进行 地 更 加 平滑 。 任 何 一 个 活动 ， 只 要 一 起 参与 能 够 解决 通用 问 
题 ， 都 是 一 个 fixit) 、VP 的 邮件 、 海 报 、TGIF 上 的 分 享 等 活动 。 

Mark: 一 旦 有 的 新 的 团队 参与 进来 时 (当时 已 经 有 许多 团队 对 我 
们 这 个 计划 感 兴趣 ) ， 他 们 会 意识 到 : CO 需要 提前 做 一 些 功课 ; @ 不 
必 有 专业 知识 。 那 些 专业 知识 会 让 初学 者 产生 挑 败 感 。 

HGTS: 有 谁 不 愿意 参与 这 个 计划 吗 ? 

Neal: 多 数 项 目 都 不 愿意 参加 。 正 如 我 上 面 提 到 的 ， 这 个 计划 难 
度 非常 大 。 给 我 们 最 初 的 孝 亏 野 心 迎 面 浇 了 一 倪 深 水 。 大 概 有 两 种 类 
型 的 项 目 : 压根 儿 没 有 测试 的 项 目 和 测试 非常 糟糕 的 项 目 。 我 们 需要 
把 计划 调整 的 更 容易 一 些 ， 使 他 们 能 够 利用 一 个 下 午 的 时 间 就 把 需要 
的 测试 任务 完成 (在 我 们 的 帮助 下 他 们 的 确 也 做 到 了 ) 。 

Mark: 还 有 ， 当 时 还 处 于 另外 一 种 状况 ， 测 试 的 价值 和 目 动 化 测 
试 在 Google 还 没有 被 真正 认可 。 与 今日 不 同 ， 甚 至 情况 完全 相反 。 那 


个 时 候 ， 多 数 团队 也 认可 这 是 一 个 非常 酷 的 想法 ， 但 他 们 还 有 更 重要 
的 事情 要 去 完成 〈 例 如 写 产品 的 功能 代码 ) 。 

HGTS: 最 初 ， 一些 参 与 团队 必须 要 去 克服 的 困难 是 什么 ? 

Neal: 惯性 ， 糟 糕 的 测试 ， 没 有 测试 时 间 。 测 斌 被 当做 其 他 开发 
人 员 的 问题 ， 或 者 测试 是 测试 团队 的 问题 ， 跟 我 没有 关系 。 在 写 功 能 
代码 的 时 候 ， 谁 有 时 间 去 写 测 试 代码 啊 ? 

Mark: 尝试 寻找 下 面 的 团队 : O 足够 感 兴趣 ，®@ 没有 太 多 的 见 余 
代码 ; G 在 团队 中 有 一 个 测试 战神 (对 测试 足够 的 了 解 的 人 ) 。 这 是 
我 们 测试 认证 计划 在 团队 里 的 三 大 障碍 ， 我 们 会 一 个 一 个 团队 地 去 解 
决 。 

HGTS: 是 什么 把 测试 认证 计划 推 品 了 主流 ? 是 病毒 性 的 爆发 还 是 
线性 的 增长 ? 

Russ: 自 完 是 一 批 试 点 团队 ， 他 们 对 测试 特别 友好 。 早 期 的 测试 
认证 计划 或 吹 者 也 和 我 们 保持 比较 亲密 的 联系 。 初 期 很 好 地 选择 了 参 
与 者 ， 基 本 上 都 是 一 些 很 容易 成 功 的 团队 。 

在 2007 年 中 期 我们 宣布 测试 认证 计划 “正式 启动 * 的 时 候 ， 有 15 
个 试点 团队 在 这 个 计划 的 不 同 级 别 上 运行 厦 。 在 正式 宜 布 之 前 ， 我 们 
在 山 景 城 、 纽 约 和 其 他 地 点 的 所 有 办 公 大 楼 上 张贴 “神秘 的 测试 认证 ” 
的 大 海报 ， 每 个 海报 上 用 图 片 印 着 各 个 试点 团队 名 字 ， 使 用 的 是 内 部 
项 目 名 称 ， 如 Rubix、Bounty、Mondrian 和 Red Tape ° 海报 上 唯一 的 文 
字 是 “未 来 就 是 现在 ”和 “至 关 重 要 ， 名 补遗 讲 ”， 还 有 一 个 链接 。 从 襄 爱 
译文 的 Google 同 事 那 里 ， 我 们 得 到 了 大 量 点 击 访问 ， 多 数 人 想 去 一 探 
究竟 ， 还 有 一 些 人 想 去 验证 自己 的 猜测 是 否 正 确 。 同 时 我 们 也 使 用 
ToTT 来 宣传 这 个 新 计划 ， 并 把 读者 指引 到 他 们 能 够 得 到 信息 的 地 方 。 
这 是 一 个 信息 闪电战 。 

宣传 网 站 上 有 一 些 信息 ， 包 括 为 什么 测试 认证 对 于 团队 很 重要 ， 
以 及 用 户 可 以 得 到 怎样 的 帮助 。 里 面 强 调 指 出 ， 参 与 团队 会 从 一 个 很 


大 的 测试 专家 社区 里 得 到 一 个 测试 认证 教练 ， 同 时 还 会 得 到 两 个 礼物 
一 一 一 个 表示 构建 状态 的 发 光 魔 法 球 ， 可 以 告诉 团队 他 们 的 〈 一 般 是 
新 的 ) 持续 集成 是 通过 (绿色 ) 还 是 失败 (红色 ) ; 另外 一 个 是 一 个 
漂亮 的 星球 大 战士 豆 头 工具 包 。 这 个 被 称 为 达 斯 土豆 工具 包 里 有 三 个 
逐渐 变 大 的 格子 ， 每 当 团队 达到 新 的 测试 认证 级 别 时 我 们 都 会 给 予 奖 
励 。 各 个 团队 展示 他 们 的 魔法 球 和 土豆 头 ， 为 这 个 计划 吸引 来 更 多 好 
BT AY EIB AD T BE AY e 

测试 圈子 里 的 成 员 是 这 个 项 目的 第 一 批 教练 和 发 言 人 。 随 着 越 来 
越 多 团队 的 加 入 ， 有 许多 热情 的 工程 师 帮 助 造 势 ， 目 己 也 成 为 其 他 团 
队 的 教练 。 

每 次 我 们 笑 试 说 服 更 多 的 团队 加 入 这 个 计划 的 时 候 ， 痢 会 与 他 们 
逐一 讨论 理由 和 原因 。 一 些 团队 是 由 于 你 能 使 他 们 信服 每 一 个 级 别 和 
教练 都 会 帮助 团队 在 这 个 领域 有 所 提高 而 加 入 的 。 一 些 团 队 认为 他 们 
会 有 所 改善 ， 并 坚信 这 种 “官方 ”级 别 评 定 会 使 他 们 因为 当前 正在 做 的 
工作 得 到 好 评 。 男 外 的 一 些 团 队 ， 他 们 本 喘 的 测试 成 熟 度 已 经 很 高 
了 ， 但 加 入 这 个 计划 ， 会 给 其 他 的 团队 发 出 一 种 信和 号， 表示 他 们 已 经 
很 重视 测试 了 。 

儿 个 月 之 后 ， 大 约 有 50 个 团队 参与 进来 ， 许 多 有 了 蜡 力 的 测试 工程 
师 等 约 成 为 测试 认证 计划 的 教练 。 这 有 十 一 个 在 团队 工程 师 和 工程 生产 
力 团队 之 间 强 大 的 合作 关系 的 开始 。 

这 十 一 个 病毒 爆发 式 的 增长 ， 通 过 许多 一 对 一 草根 之 间 的 对 话 发 
展 起 来 。 虽 然 我 们 有 了 明确 地 要 求 一 些 团队 参与 进来 ,但 也 有 为 外 的 团 
队 目 己 找 上 门 来 。 

大 概 一 年 后 ， 有 一 百 多 个 团队 通过 测试 认证 ， 加 入 测试 认证 计划 
的 速度 开始 慢 慢 地 放 慢 。 时 任 志 愿 者 主管 Bella Kazwell 策 划 了 一 个 活动 
一 一 测试 认证 挑战 。 该 挑战 活动 开发 了 一 个 积分 系统 ， 新 增 测试 、 引 
入 新 团队 参与 计划 、 提 高 团队 测试 实践 或 提升 测试 认证 级 别 等 活动 会 
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队 ， 使 测试 认证 计划 再 次 加 速 ， 并 吸引 了 更 多 的 志愿 者 教练 。 

参与 测试 认证 的 团队 一 般 都 使 用 每 个 级 别 的 标准 作为 可 度量 的 团 
队 目 标 。 到 2008 年 后 期 ， 一 些 团队 的 经 理 开始 使 用 这 个 作为 他 们 的 团 
队 目 标 ， 而 工程 生产 力 团 队 使 用 一 个 团队 在 测试 认证 计划 里 的 级 别 ， 
来 评测 这 个 团队 在 提高 测试 方面 的 重视 程度 ， 并 在 决定 是 否 向 一 个 团 
队 投 入 有 限 测 二 资源 时 作为 一 个 重要 的 参考 指标 。 在 茶 些 限定 的 领 
域 ， 一 个 团队 是 否 达到 特定 的 测试 认证 级 别 已 经 成 为 管理 上 的 期 望 或 
局 动 的 标准 。 

在 2011 年 ， 不 断 有 新 的 志愿 教练 加 入 ， 也 不 断 有 新 团队 签约 加 
入 ， 测 试 认证 已 经 在 整个 公司 中 运行 起 来 。 

HGTS: 在 最 初 的 两 年 测试 认证 计划 做 了 哪些 变化 ? 每 个 级 别 的 要 
求 有 什么 变化 么 ? 教练 系统 有 变化 么 ? 对 于 参与 者 在 体验 方面 有 哪些 
改进 ? 

Tracy: 对 认证 级 别 的 数量 和 一 些 级 别 要 求 做 了 调整 ， 这 和 是 最 大 的 
变化 。 最 初 我 们 有 四 个 级 别 。 从 级 别 0 到 级 别 1， 有 意 地 设计 成 比较 容 
易 聊 可 以 达到 。 许 多 团队 ， 特 别 是 一 些 可 测试 性 比较 差 且 有 遗留 代码 
的 团队 ， 发 现 从 级 别 1 到 级 别 2 非常 困难 。 这 些 团队 会 比较 受挫 ， 并 
有 意向 退出 测试 认证 计划 。 我 们 在 级 别 1 和 级 别 2 之 间 增 加 了 一 个 稍 
微 简单 的 新 级 别 。 我 们 把 这 个 新 级 别 定 义 成 为 “1.5”"， 但 实际 上 还 是 决 
定 把 新 增 的 级 别 设 定 为 2， 并 把 后 面 所 有 的 级 别 +1。 

我 们 同时 发 现 有 一 些 要 求 并 不 合适 ， 例 如 小 型 测试 、 中 型 测试 、 
大 型 测试 的 比例 要 求 并 不 适用 于 所 有 团队 。 在 我 们 增加 了 新 级 别 之 
后 ， 同 时 也 更 新 了 级 别 标准 。 我 们 在 新 增 了 “ 增 量 履 盖 率 ”的 具体 比例 
要 来 的 同时 ， 把 各 级 别 测试 的 比例 也 给 去 挥 了 。 


辅导 教练 始终 都 在 ， 但 许多 团队 已 经 进入 “ 目 我 调教 ”的 模式 。 由 
于 测试 文化 已 经 无 处 不 在 ， 许 多 团队 已 经 不 需要 我 们 再 提供 建议 了 。 
他 们 希望 跟踪 自己 的 进度 。 对 于 这 些 团 队 ， 我 们 不 再 指派 教练 ， 而 是 
提供 一 个 邮件 列表 用 来 回答 他 们 的 问题 ， 这 也 是 通过 男 一 双眼 睛 来 观 
察 他 们 级 别 的 转换 。 

Russ: 值得 注意 的 是 ， 从 一 开始 ， 我 们 束 意 识 到 测试 认证 标准 必 
须要 合理 地 制定 。 测 试 并 像 制 作 人 饼干， 都 是 一 个 模子 里 出 来 的 。 在 我 
们 选择 标准 的 时 候 会 发 现 有 一 些 团队 的 测试 状况 跟 我 们 心中 的 所 想 过 
然 不 同 ， 无 论 是 用 以 记录 测试 覆盖 率 的 工具 还 是 用 其 他 的 度量 方式 ， 
各 有 千秋 。 但 每 一 个 标准 都 有 其 育 后 的 合理 性 。 在 这 里 我 们 比较 开明 
的 没有 一 刀 切 ， 而 是 定制 化 了 一 些 多 数 团 队 可 以 满足 的 标准 。 

HGTS: 当前 如 果 一 个 团队 坚持 参与 测试 认证 计划 会 有 什么 收获 ? 
还 需要 投入 什么 ? 

Tracy: 可 以 把 这 个 作为 炫 粮 吹牛 的 货 本 。 请 晰 明确 的 步骤 、 外 部 
的 帮助 、 一 个 看 起 来 很 酷 的 发 光 球 ， 但 对 于 团队 来 说 ， 真 正 的 收获 是 
质量 方面 的 提升 。 

实际 投入 非常 小 ， 但 团队 需要 专注 于 改善 他 们 的 测试 成 熟 度 。 我 
们 有 一 个 定制 化 的 工具 ， 教 练 可 以 用 此 跟踪 团队 进度 ， 检 查 每 一 步 目 
标 是 否 达成 。 在 一 个 页 面 展现 所 有 按照 级 别 排列 的 团队 数据 ， 可 以 通 
过 鼠标 点 击 查看 指定 团队 的 细 世 数据。 

HGTS: 在 所 有 的 认证 级 别 里 ， 哪 个 级 别 会 给 团队 珊 来 更 多 的 麻 
烦 ? 

Tracy: 最 困难 的 一 步 是 “对 于 所 有 的 重要 代码 变更 ， 都 需要 经 过 
测试 ”。 这 个 要 求 在 一 个 可 测试 性 很 好 的 项 目 中 比较 容易 做 到 ， 但 对 于 
一 个 有 遗留 代码 的 项 目 ， 特 别 是 之 前 写 代 码 的 时 候 并 没有 测试 意识 ， 
这 就 很 困难 。 这 可 能 需要 写 一 个 大 的 端 到 端 测试 并 答 试 通过 测试 验证 
系统 的 特殊 代码 路 径 ， 然 后 再 自动 化 。 从 长 远 角 度 看 ， 更 好 的 办 法 是 


代码 重 构 ， 从 而 获得 民 好 的 可 测试 性 。 有 一 些 团 队 ， 在 写 代 码 的 时 候 
没有 考虑 到 可 测试 性 ， 一 样 会 发 现 很 难 去 达到 足够 的 测试 覆盖 率 ， 不 
管 是 单元 测试 ， 还 十 闹 到 闪 的 测试 。 

HGTS: 在 Google 一 般 的 活动 只 会 持续 数 周 或 一 个 季度 ， 但 是 测试 
认证 计划 已 经 运行 了 近 五 年 而 且 没有 迹象 表明 会 停止 。 是 什么 导致 测 
试 认 证 计划 经 过 了 时 间 的 考验 ? 测试 认证 之 后 会 面临 什么 挑战 ? 

Russ: 能 够 保持 活力 的 原因 ， 不 是 因为 这 征 个 体 参与 活动 ， 而 是 
因为 这 是 一 次 公司 文化 的 变迁 。 随 着 一 系列 活动 ， 测 试 小 团队 、 
ToTT、 文 持 邮 件 列表 、 技 术 交 流 、 普 升 页 献 、 代 码 风 格 文档 ， 第 规 的 
测试 已 经 演变 成 为 公司 所 有 工程 师 必 须要 做 的 事情 。 不 管 一 个 团队 是 
人 否 参 与 了 测试 认证 计划 ， 这 个 团队 总 是 希望 有 一 个 经 过 深思 熟 虑 的 目 
动 化 测试 策略 ， 这 些 策略 来 目 于 一 部 分 测试 专家 ， 不 管 是 团队 内 部 还 
征 外 部 的 专家 。 

能 够 持续 至 今 也 证 明 这 个 计划 是 可 行 的 。 只 有 很 少 一 部 分 领域 在 
使 用 手动 测试 。 在 这 样 的 情况 下 ， 测 试 认证 计划 已 经 完成 了 它 的 使 
命 。 它 会 被 作为 伟大 的 历史 遗产 ， 即 使 这 个 官方 的 草根 计划 某 天 真 的 
ADD 

HGTS: 有 什么 建议 要 给 其 他 公司 的 同行 ? 如 果 他 也 想 在 自己 的 组 
织 里 考虑 类 似 的 计划 ? 

Tracy: 从 一 些 对 测试 比较 认可 且 友 好 的 团队 开始 ， 培 养 一 批 可 以 
从 你 的 计划 中 受益 的 核心 团队 。 在 激励 和 赞美 方面 不 要 害羞 ， 甚 至 要 
求 其 他 人 也 来 说 好 话 。 民 好 的 教练 是 测试 认证 计划 成 功 的 一 个 重要 原 
o 如果 你 想 要 求 一 个 团队 去 壬 试 新 的 事物 或 者 做 某 些 改进 ， 给 他 们 
提供 一 个 联系 人 会 更 好 一 些 ， 这 个 联系 人 来 源 于 更 大 的 社区 ， 并 可 以 
从 他 那里 得 到 帮助 。 一 个 工程 师 或 团队 如 末 在 一 个 邮件 列表 中 间 了 一 
个 很 傻 的 问题 ， 会 感觉 比较 尴 软 ， 但 询问 对 象 如 果 是 一 个 可 以 信任 的 
测试 认证 教练 的 话 ， 这 将 会 好 很 多 。 


同时 ， 寻 找 一 些 让 你 的 计划 变 得 有 趣 的 方法 。 为 你 的 计划 取 一 个 
好 的 名 字 ， 最 好 不 要 包含 “认证 ?字样 ， 这 可 能 会 引起 见识 短 浅 的 官 令 
主义 。 或 者 像 我 们 一 样 ， 融 使 用 一 个 目光 短 浅 的 名 字 “ 测 试 认证 ?>， 但 
要 不 断 地 提醒 大 家 注意 我 们 知道 这 是 一 个 不 好 的 名 字 ， 这 只 是 一 个 反 
语 ， 用 以 衬托 你 的 计划 其 实 并 不 是 这 样 的。 每 一 个 步骤 包含 的 内 容 要 
尽 可 能 的 少 ， 这 样 大 家 可 以 看 见 自己 的 进步 。 不 要 陶 入 尝试 去 创建 一 
个 包含 独立 指标 的 完美 系统 的 陷阱 中 。 对 所 有 人 都 完美 的 事情 是 不 存 
在 的 。 在 没有 可 符 代 的 方案 时 ， 在 合理 的 地 方 达 成 一 致 并 勇往直前 是 
很 重要 的 。 需 要 灵活 的 时 候 束 灵活 一 些 ， 但 一 定 要 坚持 你 的 原则 底 
线 。 

到 此 本 章 已 结束 。 后 面 是 可 选 阅 读 部 分 ， 关 于 Google 如 何 面 试 
SET、 与 Google 工 程 师 Ted Mao 的 访谈 ， 以 及 关于 Google SET 使 用 的 工 


具 等 资料 。 


2.3 SET 的 招聘 


优秀 的 SET 在 各 个 方面 都 很 出 色 : 是 一 个 编码 能 力 很 强 的 程序 员 ， 
可 以 写 功 能 代码 ;， 也 是 一 个 能 力 很 强 的 测试 者 ， 可 以 测试 任何 产品 ， 
有 能 力 管 理 他 们 目 己 的 工作 和 工具 。 优 秀 的 SET 不 仅 可 以 看 到 树木 而 且 
可 以 看 到 整个 森林 ， 在 看 到 小 段 男 数 原型 或 者 API 的 时 候 ， 束 能 想到 各 
种 使 用 这 段 代码 的 方法 以 及 怎样 破坏 这 段 代码 。 

在 Google， 所 有 的 代码 都 存放 在 同一 个 代码 库 中 ， 这 意味 着 任何 
人 可 以 在 任何 时 间 使 用 里 面 的 任何 代码 ， 所 以 代码 本 喘 一 定 要 可 靠 且 
稳定 。SET 不 仅仅 要 发 现 功 能 开发 人 员 遗 漏 的 代码 缺陷， 而 且 还 要 去 
关心 其 他 的 工程 师 是 如 何 使 用 这 些 代码 模块 ， 并 确保 这 种 使 用 方式 古 
没有 问题 的 ， 甚 至 还 会 去 关心 这 些 代码 未 来 适用 的 功能 。 由 于 Google 


前 进 变化 的 速度 非常 快 ， 所 以 代码 一 定 要 保持 干净 、 连 
初 的 代码 作者 都 不 再 关心 这 些 代码 的 时 候 ， 仍 要 保证 这 
常 工作 。 

在 面试 的 过 程 中 我 们 如 何 考 察 这 些 技能 和 心态 呢 ? 这 可 不 是 一 件 
容易 的 事 但 幸运 的 是 ， 我 们 已 经 找到 了 上 百 个 满足 条 件 的 工程 师 。 我 
们 期 望 有 这 样 的 混合 型 人 才 : 对 测试 有 强烈 兴趣 和 天 资 的 开发 人 员 。 
一 个 通用 且 有 效 的 招募 优秀 SET 的 方法 是 ， 给 候选 人 和 其 他 开发 角色 一 
样 的 编程 问题 ， 并 考察 他 们 在 处 理 质量 与 测试 方面 的 方法 。 在 面试 过 
程 中 ，SET 有 两 次 回答 错误 的 机 会 。 

常常 通过 一 些 简 单 的 问题 就 可 以 识别 出 哪些 是 优秀 的 SET。 在 一 
些 琼 手 的 编码 问题 或 功能 的 正确 性 上 浪费 时 间 ， 不 如 考核 他 们 是 如 何 
看 待 编 码 和 质量 的 。 在 SET 的 一 轮 面试 中 会 有 一 个 SWE 或 SET 来 考察 算 
法 方面 的 问题 。 对 于 候选 者 ， 最 好 去 考察 如 何 思 索 问 题 的 解决 方案 ， 
而 不 是 解决 方案 本 身 的 实现 上 体现 得 多 么 高 雅 。 

注意 

SET 的 面试 重点 在 考察 候选 人 如 何 思索 问题 的 解决 方案 ， 而 不 是 
解决 方案 本 身 的 实现 上 有 多 么 高 雅 。 

这 里 有 一 个 例子 。 假 如 这 是 你 第 一 天 上 班 ， 你 被 要 求 去 实现 一 个 
函数 acount(void* s)， 返 回 一 个 字符 串 中 大 写字 母 A 出 现 的 次 数 。 

如 果 候 选 人 上 来 就 直接 开始 写 代 码 ， 这 无 非 在 传递 一 个 强烈 的 信 
A: 只 有 一 件 事 情 需要 去 做 而 我 正在 做 这 个 事情 ， 这 个 事情 就 是 写 代 
码 。SET 不 会 遵循 这 样 的 世界 观 。 我 们 希望 先 把 问题 搞 清楚 。 

这 个 函数 是 用 来 做 什么 的 ? 我 们 为 什么 要 构建 它 ? 这 个 函数 的 原 
型 看 起 来 正确 吗 ? 我 们 期 望 候选 人 可 以 关心 画 数 的 正确 性 以 及 如 何 验 
证 期 望 的 行为 。 一 个 问题 值得 更 多 的 关注 ! eae ARR c UH SAL 
跳 进 来 编码 ， 试 图 解决 问题 ， 在 对 得 测试 问题 上 他 同样 会 没 头 没 脑 。 
如 有 果 我 们 提出 一 个 问题 是 给 模块 增加 测试 场景 ， 我 们 不 希望 候选 人 上 


贯 一 致 。 在 最 
些 代码 可 以 正 


来 就 直 接 开 始 罗 列 所 有 可 能 的 测试 用 例 ， 直 到 我 们 强迫 他 停 下 来 。 其 
实 我 们 只 是 希望 他 先 执 行 最 佳 的 测试 用 例 。 

SET 的 时 间 是 有 限 的 。 我 们 硕 望 候选 人 能 够 回 过 头 来 寻找 最 有 效 
的 解决 问题 的 方法 ， 为 先前 的 钞 数 定义 可 以 做 一 些 改进 。 优 秀 的 SET 在 
面 对 拙 劣 的 API 定 义 的 情况 下 ， 在 测试 的 过 程 中 也 可 以 把 这 个 API 定 义 
变 得 更 漂亮 一 些 。 

普通 的 候选 人 会 花 几 分 钟 通过 提问 题 和 陈述 的 方式 来 理解 需求 文 
档 ， 例 如 以 下 几 点 。 

传 入 的 字符 串 编码 是 什么 ASCII、UTF-8 或 其 他 的 编码 方式 ? 

函数 名 字 比 较 槽 糕 ， 应 该 是 驼峰 式 (CamelCased) 的 ? 需要 更 多 
说 明 摘 述 ， 还 是 这 里 应 该 遵循 其 他 的 什么 命名 规范 ? 

返回 值 类 型 是 什么 《或许 面 试 官 筷 记 了 ， 所 以 我 会 增加 一 个 int 类 
型 的 返回 值 在 函数 原型 之 前 ) ? 

void* 是 危险 的 。 我 们 应 该 考虑 更 合适 的 类 型 ， 如 char*。 在 一 些 编 
译 时 刻 类 型 检查 中 可 以 为 我 们 提供 一 些 帮 助 。 

如 果 只 有 一 个 A 的 情况 ， 计 数 结 采 是 多 少 ? 它 对 小 写字 母 a 也 计数 
吗 ? 

在 标准 库 中 不 是 已 经 有 这 样 的 画 数 了 吗 (为 了 面试 的 目的 ， 假 装 
你 是 第 一 个 实现 这 个 函数 功能 的 人 ) ? 

更 好 的 候选 人 则 会 考虑 的 更 多 一 些 。 

考虑 一 下 扩展 性 : 或 许 返回 值 的 类 型 应 该 是 一 个 64 位 的 整形 ， 
为 Google 经 党 涉及 海量 数据 。 

考虑 一 下 复 用 性 : 为 什么 这 个 函数 是 针对 大 写字 母 A 进 行 计数 的 ? 
一 个 好 的 办 法 是 参数 化 ， 使 得 任意 的 字符 都 可 以 被 计数 ， 而 不 是 使 用 
不 同 的 函数 来 实现 。 

考虑 一 下 安全 性 : 这 些 指针 都 是 来 自 于 可 信任 的 地 址 吗 ? 

最 佳 的 候选 人 会 这 样 考 虑 。 


考虑 扩展 性 。 
这 个 函数 会 在 Shared data (译注 : 数据 分 区 ， 是 数据 库存 储 分 割 
(partition) 的 一 种 方式 。 水 平分 割 是 一 个 数据 库 的 设计 准则 ， 数 据 以 

记录 行 的 方式 存储 在 不 同 的 物理 位 置 ， 而 不 是 通过 不 同 列 的 方式 存 
储 ° 更 多 参 见 See 
http://en.wikipedia.org/wiki/Shard_(database_architecture) ) 上 被 作为 
MapReduce (it: MapReduce 是 分 布 式 计算 编程 模型 ， 更 多 参见 
http://en.wikipedia.org/wiki/Map Reduce) 的 一 部 分 运行 吗 ? 或 许 这 才 是 
调用 这 个 函数 最 有 用 的 形式 。 在 这 个 场景 需要 考虑 一 些 什 么 问题 吗 ? 
针对 整个 互联 网 的 所 有 文档 运行 这 个 男 数 ， 该 如 何 考虑 性 能 和 正确 
性 ? 

如 果 这 个 子 程序 被 每 一 个 Google 查 询 所 调用 ， 而 且 由 于 外 部 的 老 
闭 层 面 已 经 对 参数 做 了 验证 ， 传 递 的 指针 是 安全 的 ， 或 许 减少 一 个 空 
指针 的 检查 会 每 天 节省 上 亿 次 的 CPU 调用 周期 ， 并 缩短 用 户 的 响应 时 
间 。 最 少 要 理解 全 部 参数 验证 带 来 的 潜在 影响 。 

考虑 基于 常量 的 优化 。 

我 们 可 以 假设 输入 的 数据 是 已 经 排 好 顺序 的 吗 ? 如 果 是 那样 ， 我 
们 或 许可 以 在 找到 第 一 个 大 写字 母 B 之 后 束 快 速 退出 。 输 入 的 数据 是 什 
AM? 多 数 情况 下 都 是 A 吗 ? 多 数 是 字符 的 混合 ， 还 是 只 包含 字母 A 
和 空格 ? 如 果 那 样 ， 在 我 们 比较 指令 的 地 方 或 许可 以 做 些 优化 。 当 在 
处 理 大 数据 ， 甚 至 小 数据 的 时 候 ， 在 代码 执行 的 时 候 对 于 真实 的 计算 
延迟 也 会 有 比较 显著 的 亚 线性 变化 。 

考虑 安全 性 。 

在 许多 系统 上 ， 如 果 这 是 一 段 对 于 安全 敏感 的 代码 ， 可 以 考虑 更 
多 的 非 空 的 指针 做 测试 。 在 某 些 系统 上 ，1 是 一 个 非法 的 指针 。 

增加 一 个 字符 长 度 的 参数 ， 用 以 保证 代码 不 会 运行 到 指定 字符 串 
之 外 的 部 分 。 检 查 字 符 串 长 度 ， 这 个 参数 的 值 是 否 正 常 。 那 些 不 是 以 
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如 果 指 针 指 向 的 数据 能 被 其 他 的 线程 修改 ， 这 里 就 有 潜在 的 线程 
安全 问题 。 

我 们 是 否 应 该 使 用 try/catch RRE AY ACE? 或 者 如 末末 能 如 
预期 那样 正常 的 调用 代码 ， 我 们 或 许 应 该 返回 错误 代码 给 调用 者 。 如 
果 有 错误 代码 的 话 ， 这 些 代码 经 过 民 好 的 定义 并 有 文档 吗 ? 这 意味 着 
候选 人 在 思考 大 型 代码 库 和 运行 时 刻 的 上 下 文 环境 方面 的 问题 ， 这 样 
的 思索 可 以 避免 错误 代码 的 重复 和 遗漏 。 

基本 上 ， 最 佳 候选 人 会 有 针对 性 地 提出 一 些 新 观点 。 如 果 这 些 观 
点 比较 明知 的话 ， 它 们 虱 是 值得 考虑 的 。 

注意 

一 个 优秀 SET 候选 人 不 应 该 被 告 之 要 去 测试 代码 ， 这 应 该 是 SET 目 
然 要 考虑 的 地 方 。 

所 有 这 些 面试 问题 ， 无 论 是 针对 问题 本 身 还 是 针对 输入 参数 都 有 
一 个 关键 之 处 ， 那 吏 是 任何 通过 入 门 级别 编 程 课程 的 工程 师 都 可 以 针 
对 这 个 问题 写 出 简单 的 功能 代码 。 优 秀 的 候选 人 和 普通 的 候选 人 在 提 
问 和 思路 上 的 表现 会 迎 然 不 同 。 我 们 要 确保 候选 人 能 够 感觉 足够 舒适 
地 去 提出 问题 ， 如 果 没 有 问题 ， 我 们 束 引 导 他 们 去 提问 ， 确 保 他 们 不 
会 因为 当前 是 在 面试 束 直 接 去 写 代 码 。Google 的 人 应 该 质疑 几乎 所 有 
事情 ， 但 仍然 会 把 问题 解决 所 。 

在 这 里 ， 如 琳 把 这 个 面试 问题 的 所 有 正确 实现 与 常见 错误 都 罗列 
一 肖 ， 肯 害 会 招 人 讨 天 ， 毕 竟 这 不 是 一 本 关于 编程 或 面试 的 书 。 但 为 
了 讨论 的 需要 ， 让 我 们 使 用 一 个 简单 且 常 见 的 代码 实现 方式 来 做 讨论 

(译注 :在 下 面 代 码 中 ， 第 6 行 代码 中 的 ‘a 应 该 是 大 写字 母 ‘AY， 原 书 
Aik) 。 注 意 ， 候 选 人 一 般 都 会 选择 使 用 自己 喜欢 的 编程 语言 ， 如 
Java、Python 等 ， 但 这 经 稼 会 引起 一 些 问 题 ， 例 如 垃圾 收集 、 类 型 安 


全 、 编 译 和 运行 时 刻 的 不 同 天 注 点 等 。 我 们 同时 要 确保 候选 人 可 以 正 
确 理 解 这 些 问题 。 

int64 Acount(const char* s) { 

if (!s) 

return 0; 

int64 count = 0; 

while (*s++) 1 
if (*s == ‘a’) 
count++; 

} 

return count; 

j 

候选 人 应 该 可 以 走 查 他 们 的 代码 ， 指 出 程序 中 出 现 的 指针 或 计数 
妖 的 值 在 测试 数据 输入 之 后 在 代码 运行 时 刻 是 如 何 变化 的 。 

一 般 来 说 ， 普 通 的 SET 候选 人 会 做 到 以 下 这 些 。 

在 通过 编写 代码 解决 问题 的 过 程 中 很 少 遇 到 问题 。 在 编码 时 ， 男 
数 重 写 没 有 肢 烦 ， 很 少 出 现 基本 语法 错误 ， 也 不 会 温 清 不 同 语言 的 语 
法 和 关键 词 。 

在 理解 指针 方面 没有 明显 错误 ， 或 者 没有 分 配 不 必要 的 内 存 。 

在 代码 开始 的 地 方 做 一 些 输 入 验证 ， 避 免 由 于 取 值 到 空 指针 等 引 
起 比较 麻烦 的 程序 般 问 。 者 在 被 问 到 为 何不 做 参数 验证 的 时 候 ， 则 可 
以 很 好 地 解释 为 什么 要 这 样 做 。 

理解 运行 时 刻 效 率 或 程序 代码 的 大 O (YE: 大 0 表示 法 描述 了 画 
数 在 运行 时 刻 需 要 消耗 的 时 间 ， 参考 See 
http://en.wikipedia.org/wiki/Big_O_notation) 。 在 效率 上 ， 任 何 非 线性 的 
运行 时 间 虽 然 说 明 程 序 可 用 ,但 都 有 可 提升 的 空间 。 

在 被 指出 代码 中 有 小 的 问题 时 ， 可 以 修正 它们 。 


写 的 代码 干净 易 读 。 如 果 使 用 了 位 操作 或 把 所 有 的 代码 都 写 在 一 
行 ， 则 绝对 不 是 一 个 好 现象 。 人 代码 即使 在 功能 上 可 以 正常 工作 ， 读 起 
来 也 会 令 人 呕吐 。 

在 输入 为 一 个 A 或 null 的 时 候 ， 走 查 代码 确 人 能 正常 工作 。 

更 优秀 的 候选 人 会 做 的 更 多 一 些 。 

考虑 使 用 64 位 整 型 int64 作 为 计数 器 变量 和 返回 值 的 类 型 ， 为 了 以 
后 的 兼容 性 和 避免 用 户 使 用 非常 长 的 字符 串 而 导致 洲 出 。 

针对 分 布 式 的 计数 计算 而 准备 一 些 代码 。 一 些 对 MapReduce 不 熟悉 
的 候选 人 ， 会 针对 大 字符 串 并 行 计算 使 用 自己 的 简单 变量 来 提高 响应 
速度 。 

在 代码 注释 中 对 条 件 假设 和 常量 做 解释 说 明 。 

在 有 很 多 不 同 的 数据 输入 时 可 以 走 查 代码 ， 修 复 所 发 现 的 错误 。 
不 懂得 如 何 发 现 和 修复 缺陷 的 SET 候选 人 不 是 合格 的 候选 人 。 

在 被 要 求 去 做 功能 测试 之 前 就 去 做 相应 的 测试 。 测 试 不 应 是 被 要 
求 了 才 去 做 的 事情 。 

在 被 要 求 停止 之 前 ， 不 停 地 党 试 优化 解决 方案 。 在 经 过 区 区 几 分 
钟 的 编码 和 简单 测试 之 后 ， 没 人 敢 说 他 的 代码 就 是 完美 的 。 程 序 的 稳 
定性 和 韧性 比 功 能 正确 要 重要 的 多 。 

现在 ， 我 们 想 看 候选 人 是 否 可 以 测试 他 们 自己 写 的 代码 。 令 人 费 
解 或 复杂 琼 手 的 测试 代码 是 世界 上 最 差 的 代码 ， 但 这 也 比 没 有 测试 代 
码 强 。 在 Google， 如 果 测 试 运行 失败 ， 需 要 清楚 地 知道 测试 代码 在 做 
什么 。 否 则 ， 这 个 测试 就 应 该 被 禁止 掉 ， 或 是 被 标记 为 怪异 的 测试 ， 
或 是 忽略 这 个 测试 的 运行 失败 。 如 果 这 样 的 事情 发 生 了 ， 这 是 编写 出 
坏 代 码 的 SWE 的 责任 ， 或 是 代码 审 查 时 给 予 通过 投票 时 SETSWE 的 失 


SET 应 该 可 以 用 黑 盒 测试 方法 做 测试 ,假设 其 他 人 已 经 实现 了 功 
能 ， 也 可 以 用 日 使 测试 的 方式 ， 考 虑 其 内 部 的 实现 可 以 知道 哪些 用 例 


是 无 关 的 。 

通常 情况 下 ， 普 通 的 候选 人 会 这 样 做 。 

他 们 会 比较 有 条 理 地 或 体系 化 地 提供 特定 的 字符 串 (如 不 同 的 字 
符 串 大 小 ) 而 不 是 随机 的 字符 串 。 

专注 于 产生 有 意义 的 测试 数据 。 考 虑 如 何 去 运 行 大 型 测试 和 使 用 
真实 环境 的 数据 做 测试 。 

更 优秀 的 候选 人 会 这 样 做 的 更 多 一 些 。 

在 并 发 线程 中 调用 这 个 函数 ， 去 查看 在 串扰 (cross talk) ` JEA 
内 存 洪 露 方面 是 否 存 在 问题 。 

构建 长 时 间 持 续 运 行 的 测试 场景 。 例 如 在 一 个 while(true) 循 环 中 调 
用 函数 ， 并 确 你 他 们 在 不 间断 地 长 时 间 运 行 过 程 中 你 持 功 能 正常 。 

在 构建 测试 用 例 、 测 斌 数据 的 产生 方法 、 验 证 和 执行 上 保持 浓厚 


优秀 候选 人 的 例子 


by Jason Arbon 

最 近 有 一 个 候选 人 (后 来 被 证 明 他 在 实际 工作 上 的 表现 也 确实 令 
人 吃惊 ) 在 被 问 到 如 何 针对 这 个 返回 值 为 64 位 整形 的 API 做 边界 测试 
时 ， 他 很 快 地 意识 到 由 于 时 间 和 空间 的 限制 ， 不 可 能 使 用 物理 的 方法 
做 测试 。 但 为 了 做 完 这 个 题目 和 出 于 好 奇 心 ， 在 思考 这 个 级 别 的 扩展 
性 时 和 试 使 用 非常 大 量 的 数据 来 做 这 个 测试 ， 并 提出 使 用 Google 的 网 
页 索引 作为 输入 数据 来 源 。 

他 是 如 何 验证 这 个 结果 的 呢 ? 他 建议 使 用 一 个 并 行 来 实现 ， 从 而 
保证 产生 两 份 相同 的 结 采 。 他 也 考虑 到 使 用 统计 学 上 抽样 的 方法 : 大 
写字 母 A 在 网 页 上 出 现 的 期 户 频 率 。 由 于 我 们 知道 网 页 索引 后 的 数量 ， 
计算 后 的 数字 应 该 比较 接近 。 这 正 是 Google 思 考 测试 的 方式 。 即 便 我 


们 不 会 真 的 构建 这 样 庞 大 的 测试 ， 思 考 这 些 解决 方案 一 般 也 会 对 正常 
规模 的 测试 工作 提供 有 意义 或 有 效 的 借鉴 。 

在 面试 中 需要 另外 考虑 的 是 文化 上 是 否 匹 配 。SET 候选 人 在 面试 
过 程 中 是 否 在 技术 上 有 好 奇 心 ? 当面 对 一 些 新 想法 的 时 候 ， 候 选 人 是 
否 能 够 把 它 融 入 到 解决 方案 里 昵 ? 又 是 如 何 处 理 有 歧义 的 地 方 的 ? 是 
否 熟 悉 质 量 方面 的 理论 学 术 方 法 ? 是 否 理解 质量 度量 或 其 他 领域 的 自 
动 化 ? 例如 土木 工程 或 航空 工程 方面 的 目 动 化 。 当 你 发 现在 实现 中 存 
在 缺陷 时 ， 有 是 否 心 存 戒备 ， 思 路 又 是 否 足 够 开阔 ?候选 人 不 必 有 具备 所 
有 的 这 些 特质 ， 但 仍 是 越 多 越 好 。 最 后 还 要 考虑 在 日 常 的 工作 中 ， 我 
们 是 否 愿意 和 这 个 人 一 起 工作 。 

需要 着 重 强调 的 一 点 是 ， 如 有 果 某 人 在 应 聘 SET 岗 位 的 时 候 没 有 具备 
足够 强 的 编码 能 力 ， 这 并 不 意味 着 此 人 不 是 一 个 合格 的 TE。 我 们 已 雇 
佣 到 的 一 些 优秀 的 TE， 之 前 都 是 来 应 聘 SET 岗 位 的 。 

一 个 有 趣 的 现象 值得 我 们 注意 ，Google 在 SET 招聘 过 程 中 经 常会 与 
优秀 的 候选 人 失之交臂 ， 原 因 是 这 些 人 最 后 成 为 非 测 试 类 的 SWE 或 对 
测试 过 度 专 注 的 TE。 我 们 希望 SET 的 候选 人 具有 多 样 性 ， 他 们 可 能 会 
在 以 后 工作 上 成 为 同事 。SET 是 一 个 真正 的 混合 体 ， 但 有 些 时 候 这 也 
会 导致 一 些 令 人 不 悦 的 面试 得 分 。 我 们 想 确 保 的 一 点 是 ， 这 些 低 分 是 
由 于 我 们 的 面试 冒 在 使 用 严格 的 SET 考 核 标 准 而 导致 。 

正如 Patrick Copeland 在 序言 中 说 的 那样 ， 关 于 SET 的 招聘 目前 还 有 
一 些 不 同 的 观点 。 如 采 SET 十 一 个 优秀 的 编程 者 ， 他 束 应 该 只 去 做 功能 
开发 的 工作 吗 ? SWE 也 是 很 难 雇佣 到 的 。 如 有 果 他 们 擅长 做 测试 ， 束 应 
该 只 是 专注 于 解决 纯粹 的 测试 问题 么 ? 事实 总 是 存在 于 两 者 之 间 。 

招聘 优秀 的 SET 是 一 件 很 麻烦 的 事情 ， 但 这 是 值得 的 。 一 个 明星 级 
的 SET 能 够 对 一 个 团队 产生 巨大 的 影响 。 


2.4 与 工具 开发 工程 师 Ted Mao 的 访谈 


Ted Mao 是 一 位 Google 的 开发 工程 师 ， 但 Ted 的 主要 工作 专注 于 测 
试 工具 的 开发 方面 。 特 别 要 提 到 的 是 ，Ted 制 作 的 Web 应 用 程序 方面 的 
测试 工具 ， 所 有 的 Google 内 部 应 用 上 都 在 使 用 。Ted 本 号 在 SET 这 个 图 
子 里 也 很 有 名 气 ， 一 般 情况 下 SET 都 对 优秀 工具 有 和 需求， 否则 效率 就 会 
非常 低下 。Ted 可 能 是 Google 内 部 对 通用 Web 测 试 基 础 框架 最 熟悉 的 人 
员 。 

HGTS: 你 是 什么 时 候 加 入 Google 的 ? 是 什么 吸引 你 来 这 里 工作 
的 ? 

Ted: 我 是 2004 年 6 月 加 入 Google 的 。 在 那 之 前 ， 我 只 在 一 些 大 公 
司 里 街 过 ， 像 IEBM 和 Microsoft， 那 个 时 候 Google 是 最 热门 的 创业 型 公 
司 ， 吸 引 了 大 量 非常 有 天 赋 的 工程 师 加 入 。Google 尝试 去 解决 许多 有 
趣 且 有 挑战 性 的 问题 ， 我 想 参 与 进来 ， 与 这 个 世界 上 最 优秀 的 工程 师 
们 一 起 去 解决 这 些 问题 。 

HGTS: 你 是 Google 缺 陷 管 理 库 Buganizer ( 注 : Buganizer 是 Google 
内 部 使 用 的 缺陷 管理 系统 ， 开 源 版 本 的 Buganizer 被 称 为 问题 跟 踩 工 
具 , 在 Chomum 项 H 中 有 使 用 ， $9 M 
http://code.google.com/chromium/issues/list ) 的 创建 者 。 与 之 前 的 
BugDB 相 比 ，Buganizer 笑 试 去 解决 了 哪些 核心 问题 呢 ? 

Ted: BugDB 当时 是 在 阻碍 我 们 的 开发 流程 的 运转 ， 而 不 是 为 之 提 
供 文 持 帮 助 。 老 实说 ， 它 浪费 了 许多 宝贵 的 工程 开发 时 间 ， 这 使 得 使 
用 这 个 工具 的 团队 负担 更 加 沉重 。 它 的 问题 表现 在 许多 方面 ， 像 UI 延 
迟 、 宗 拙 的 工作 流 模 式 、 在 非 结构 化 的 文本 字段 中 使 用 特殊 字符 串 
等 。 在 设计 Buganizer 的 时 候 ， 我 们 确 你 我 们 的 数据 模型 和 UI 可 以 反应 


出 用 户 的 真实 开发 过 程 。 在 核心 产品 团队 与 集成 过 程 中 ， 这 个 系统 通 
过 使 用 扩展 的 模式 ， 经 受 住 了 考验 。 

HGTS: 你 在 Buganizer 上 做 的 非常 出 色 。 这 真是 我 们 用 过 最 好 的 
缺陷 管理 数据 库 了 。 你 又 怎么 开始 去 搞 Web 目 动 化 方面 的 测试 呢 ? 是 你 
看 到 这 方面 有 强烈 的 需求 吗 ? 还 是 有 人 请 求 你 去 帮助 解决 这 方面 的 问 
题 呢 ? 

Ted: 在 为 Buganizer、AdWwords 和 其 他 Google 产 品 工作 期 间 ， 我 经 
常 发 现 已 有 的 Web 自 动 化 测试 工具 不 能 满足 我 的 实际 需求 ， 他 们 并 不 像 
我 期 望 的 那样 快速 、 扩 展 性 强 、 健 壮 且 有 用 。 当 工具 团队 宣布 去 寻找 

个 领域 的 撤 术 人 才 时 ， 我 抓 住 了 这 个 机 会 。 这 方面 的 符 试 丈 是 我 们 
知道 的 Matrix 项 目 ， 而 我 是 这 个 项 目的 技术 人 负责 人 。 

HGTS: 如 今 有 多 少 个 测试 团队 在 使 用 Matrix 做 测试 执行 ? 

Ted: 这 个 取决 于 你 如 何 度量 测试 的 执行 。 例 如 ， 我 们 在 使 用 的 一 
个 指标 ， 我 们 称 为 “ 浏 贤 器 会 话 *”。 守 对 所 有 浏览 器 ， 每 一 次 新 的 浏览 
怖 会 话 都 会 傈 证 从 同样 的 状态 开始 运行 。 这 样 的 话 ， 在 这 个 浏 斋 器 上 
运行 的 测试 只 由 测试 本 号 、 浏 览 右 和 操作 系统 来 决定 ， 其 行为 也 束 是 
可 以 确定 的 。Matrix 在 Google 的 每 个 Web 前 端 团队 都 有 实践 应 用 ， 每 天 
提供 大 于 一 百 万 个 新 浏览 右 会 话 。 

HGTS: Buganizer 和 Matrix 这 两 个 项 目 ， 曾 有 多 少 人 为 之 工作 ? 

Ted: 在 项 目 开 发 高 峰 时 期 ，Buganizer 有 5 个 工程 师 ，Matrix 有 4 个 
工程 师 。 当 时 我 们 的 团队 本 可 以 拥有 更 多 的 人 ， 让 团队 存活 地 更 长 久 
一 些 。 虽 然 这 令 我 有 些 伤感 ， 但 我 觉得 在 当时 的 情况 下 我 们 已 经 做 的 
EIET ° 

HGTS: 在 你 打造 这 些 工 具 的 时 候 ， 你 面临 过 的 最 难 的 技术 挑战 是 
T 

Ted: 对 于 我 而 言 ， 我 认为 最 艰难 和 最 有 趣 的 挑战 总 是 出 现在 设计 
阶段 。 理 解 一 个 问题 领域 ,权衡 不 同 的 解决 方案 和 它们 的 利 迷 ， 并 从 


中 选 一 个 最 优 的 方案 。 实 现 阶段 一 般 按 照 选 定 的 方案 去 做 即 可 。 这 样 
的 选择 决定 和 功能 实现 一 样 会 贯穿 项 目的 整个 生命 周期 ， 决 定 项 目的 


成 败 。 
HGTS: 对 于 世界 上 其 他 专注 于 测试 工具 方面 的 工程 师 ， 你 有 什么 
一 般 性 的 建议 吗 ? 


Ted: 专注 于 你 的 用 户 ， 理 解 他 们 的 需求 并 解决 他 们 的 问题 。 不 要 
忽视 一 些 看 不 见 的 功能 ， 如 可 用 性 和 响应 速度 。 工 程 师 在 解决 他 们 问 
题 方面 有 目 己 独特 的 能 力 ， 要 允许 他 们 使 用 你 无 法 预料 的 方式 来 使 用 
你 的 工具 。 

HGTS: 在 测试 工具 框架 领域 ， 下 一 个 最 大 的 问题 ， 或 者 是 你 最 感 
兴趣 的 且 最 想 去 解决 的 问题 是 什么 ? 

Ted: 有 一 个 问题 我 最 近 一 直 在 思索 ， 我 们 的 工具 变 的 越 来 越 强 大 
和 复杂 ， 但 相应 地 ， 在 理解 和 使 用 这 些 工具 上 也 变 得 越 来 越 困 难 。 例 
如 ， 使 用 Google 当前 的 Web 测 斌 框架， 工程师 可 以 一 键 运 行 上 千 个 
Web 测 试 ， 并 发 地 运行 ， 针 对 不 同 的 浏览 右 。 我 们 抽象 封装 了 如 何 运 行 
Hym D, fap MM aah ce CEB BW SEAT AY, Da ee eee ee AS E ha 
到 的 ， 测 试 环境 是 如 何 配 置 的 等 细 方 。 从 某 方 面 上 讲 ， 这 是 好 事 儿 。 
但 是 ， 如 采 测 试 运行 失败 之 后 ， 工 程 师 又 必须 去 做 调试 ， 这 些 隐藏 的 
细 太 就 必须 要 去 了 解 。 我 们 已 经 在 这 个 领域 有 所 举措 ， 但 仍然 有 很 多 
可 以 去 做 且 必 须 去 完成 的 事情 ， 它 们 在 等 每 着 我 们 去 解决 。 


2.5 与 Web Driver 的 他 Simon Stewart 的 对 


Simon Stewart 是 WebDriver 的 创建 者 ， 也 是 Google 在 浏览 器 上 自动 化 
领域 的 专家 (译注 : Simon 于 2013 年 离开 Google 加 盟 Facebook ) 
WebDriver 是 开源 Web 应 用 目 动 化 测试 工具 ， 不仅 在 Google 内 部 ， 在 业 


内 也 广 受 欢迎 ， 也 是 GTAC (Google 测 斌 自动 化 大 会 ) 历史 上 最 热门 的 
话题 之 一 。 我 们 的 采访 记者 和 Simon 一 起 做 了 这 个 访谈 ，Simon 在 这 里 
讨论 了 Web 应 用 目 动 化 的 话题 和 关于 WebDriver 未 来 的 一 些 想法 。 

HGTS: 好 像 很 多 人 并 不 清楚 Selenium 和 WebDriver 之 间 的 区 别 ， 
你 能 解释 一 下 吗 ? 

Simon: Selenium 是 Jason Huggins 在 ThoughtWorks 时 创建 的 一 个 项 
目 。Jason 那 个 时 候 写 了 一 个 Web 应 用 ， 假定 用 户 使 用 的 浏览 器 是 IE。 
这 样 做 可 以 理解 ， 因 为 那个 时 候 五 有 百 分 之 九 十 多 的 市 场 占有 率 。 但 
是 他 持续 不 断 的 得 到 用 户 反 馈 ， 指 出 这 个 应 用 在 Firefox 浏 唤 絮 上 有 
bug， 这 个 时 候 他 就 磁 到 一 个 问题 ， 当 他 修复 Firefox 上 的 bug 的 时 候 会 
导致 在 下 上 出 现 另 外 的 问题 。 对 他 来 说 ，Selenium 是 一 个 可 以 加 速 开 发 
应 用 程序 的 工具 ， 可 以 确保 每 次 变更 在 两 个 浏 咒 器 上 都 可 以 正常 工 
作 。 

大 概 在 一 年 前 ， 或 者 不 到 一 年 的 样子 ， 我 真正 开始 去 创建 
WebDriver。 但 在 Selenium 真 正 稳定 之 前 ， 我 的 主要 精力 集中 在 更 加 通 
用 的 Web 应 用 测试 上 。 这 并 不 奇怪 ， 我 们 两 个 使 用 了 不 同 的 方法 来 实现 
Web 目 动 化 。Selenium 在 浏览 器 内 部 使 用 JavaScript 实现 ， 而 
WebDriver 使 用 浏览 絮 本 身 的 API 集 成 到 浏览 器 内 部 。 两 种 方法 各 有 优 
劣 。 例 如 ，S$elenium 可 以 在 瞬间 打开 一 个 新 的 Chrome 浏览 器 ， 但 却 不 
能 上 传 文件 或 者 很 好 地 处 理 用 户 交 互 ， 因 为 它 是 JavaScript 实 现 ， 必 须 
限定 在 JS 沙 箱 之 内 。 由 于 WebDriver 构 建 在 浏览 器 里 面 ， 它 可 以 突破 这 
些 限 制 ， 但 打开 一 个 新 的 浏览 右 却 比较 痛苦 。 在 我 们 都 开始 为 Google 
工作 的 时 候 ， 我 们 决定 把 这 两 个 集成 到 一 起 。 

HGTS: 但 我 还 是 昕 到 人 们 在 分 别 谈论 它们 。 它 们 还 依然 是 两 个 独 
AIM BI? 

Simon: Xj T Pr A WM bias AO TA Se, RIRA Selenium 。 
WebDriver 只 是 其 中 的 一 个 工具 ， 官 方 的 名 字 是 “Selenium WebDriver" ° 


HGTS: 那么 Google 是 如 何 介 入 进来 的 呢 ? 

Simon: 儿 年 前 ，Google 在 创建 了 London office 的 时 候 ， 雇 人 了 一 
些 Thoughtworks 的 前 员工 ， 这 些 人 邀请 我 去 做 一 个 天 于 WebDriver 83x 
术 分 享 。 这 次 分 享 并 没有 给 我 带 来 什么 信心 ， 前 排 的 一 个 家 伙 听 着 听 
mam T JE 4) 36 BP) EE Hoo A 55 fL E] RT FS IDEA o TS AY 
是 ， 这 个 分 享 的 录制 设备 也 坏 了 。 但 还 是 有 很 多 人 对 此 感 兴趣 ， 于 是 
我 们 再 次 被 邀请 在 GTAC 上 做 一 个 没有 恬 声 的 分 享 。 之 后 我 很 快 束 加 入 
了 Google。 现 在 我 也 知道 那个 事情 的 真相 了 ° 

HGTS: 确实， 每 个 人 有 目 己 的 秘密 。 说 正经 的 ， 我 们 之 前 也 看 过 
你 的 分 享 ， 很 难 想象 有 人 会 睡 着 。 他 是 我 们 认识 的 人 吗 ? 

Simon: 不 ， 他 已 经 离开 Google 很 入 了 。 我 们 还 是 假设 他 前 一 天 晚 
上 熬夜 了 比较 好 。 

HGTS: 我 们 必须 从 中 吸取 教训 。 大 家 需要 明日 ， 在 Simon Stewart 
的 分 享 过 程 中 睡觉 ， 对 你 的 职业 生涯 是 非常 不 利 的 。 目 从 你 加 入 了 
Google，WebDriver 是 你 的 全 职工 作 吗 ? 

Simon: 不 ， 这 只 是 我 20% 的 工作 。 我 的 主要 工作 是 一 个 产品 的 
SET， 虽 然 我 现在 还 在 负责 推进 WebDriver 的 前 进 ， 但 已 经 有 外 部 的 页 
献 者 了 ， 他 们 做 的 非常 梭 。 在 一 个 开源 项 目的 早期 阶段 ， 人 们 拿 过 来 
使 用 ， 因 为 他 们 需要 这 样 的 项 目 ， 而 且 也 没有 其 他 可 以 替代 的 。 内 在 
的 激励 就 是 要 去 贡献 。 现 在 许多 WebDriver 的 用 户 都 在 口 口 相传 如 何 去 
使 用 操作 ， 这 些 用 户 更 像 是 消费 者 ， 而 不 是 页 献 者 。 但 在 早期 ， 
WebDriver 社区 的 草根 却 在 真正 地 推进 这 个 工具 辣 前 发 展 。 

HGTS: 我 们 知道 故事 的 来 龙 去 脉 了 。WebDriver 在 Google 内 部 非 
常 受 欢 迎 ， 这 是 怎么 开始 的 ? 是 有 试点 的 项 目 吗 ?有 没有 一 些 错 误 的 
教训 呢 ? 

Simon: 这 是 一 个 社交 了 网络 产 品 ， 在 Wave 团队 最 移 开 始 使 用 。 该 
团队 位 于 Sydney 的 办 公 室 ， 但 这 个 团队 现在 却 已 经 不 存在 了 。Wave 的 


The REET Selenium 作为 他 们 的 测试 框架 ， 但 是 却 无 法 解决 一 
些 问 题 。Wave 实 在 是 太 复 杂 了 。 工 程 师 们 很 勤奋 ， 找 到 了 WebDriver 
并 开始 问 许多 优秀 的 问题 ， 然 后 这 变 成 了 我 20% 的 时 间 要 处 理 的 事 
情 。 他 们 找到 我 的 老板 ， 硕 望 我 能 在 去 Sydney 符 上 一 个 月 ， 帮 助 他 们 
建立 自己 的 测试 框架 。 

HGTS: 我 想 你 当时 成 功 了 。 

Simon: 是 的 ， 那 个 团队 很 梭 ， 我 们 把 框架 做 出 来 了 了。 提出 了 大 量 
针对 WebDriver 的 新 需求 ， 这 对 于 其 他 的 团队 也 是 一 个 榜样 ， 
WebDriver 在 Web 应 用 方面 处 于 领先 地 位 。 从 那 一 刻 开 始 ，WebDriver 
束 再 也 没有 缺少 过 用 户 ， 对 于 我 来 说 ， 全 和 里 心 的 投入 进去 也 更 有 意 
Yo 

HGTS: 第 一 个 用 户 总 是 最 难 的 。 你 是 怎么 改进 WebDriver， 并 让 
它 可 以 在 Wave 团队 工作 的 ? 

Simon: 我 使 用 了 一 个 被 称 为 DDD (译注 : defect-driven 
development) 的 流程 ， 缺 陷 驱 动 开发 。 我 总 是 宣称 WebDriver 是 完 
无 瑕 的 ， 一 旦 用 户 发 现 了 一 个 bug， 我 束 立 刻 去 修复 它 ， 然 后 再 宣布 它 
没有 问题 了 ， 更 加 完美 无 瑕 。 这 样 的 话 ， 可 以 确定 我 修复 的 bug 是 一 些 
人 们 真正 关心 的 bug。 这 对 于 改善 一 个 已 有 产品 古 非 第 有 用 的 ， 这 可 以 
确保 你 是 在 修复 最 重要 的 bug， 而 不 是 修复 人 们 并 不 天 心 的 bug 。 

HGTS: 你 还 是 WebDriver 里 唯一 的 工程 师 吗 ? 

Simon: 不 ， 我 们 有 一 个 团队 ，WebDriver 是 Google 内 部 的 一 个 正 
式 项 目 ， 并 在 开源 方面 非常 活跃 。 随 着 浏览 器 数量 、 版 本 和 平台 的 不 
靳 增加 ， 我 们 告诉 大 家 我 们 必须 很 狗 狂 ， 我 们 每 天 都 在 把 不 可 能 的 事 
情 变 成 可 能 。 有 时 候 我 觉得 比较 理智 的 人 其 实 并 不 适合 做 我 们 这 个 项 
He 

HGTS: 在 Wave 项 目 之 后 你 得 到 了 很 多 动力 。 对 于 用 户 来 说 ， 是 
否 意味 着 WebDriver 蔡 代 了 旧 的 Selenium 的 地 位 ? 


Simon: 我 想 是 的 。 许 多 原来 Selenium 工 程 师 都 去 做 其 他 事情 了 。 
由 于 在 Wave 上 的 成 功 ， 我 对 WebDriver 也 充满 了 信心 和 能 量 。 一 些 我 
从 来 没有 见 过 的 人 ， 如 来 目 德 国 的 Michael Tam ， 已 经 开始 在 WebDriver 
上 做 一 些 重要 的 工作 了 ， 我 也 很 小 心地 鼓励 这 样 的 关系 模式 。Michael 
是 第 一 个 我 没有 真正 见 过 就 有 提交 代码 权限 的 人 。 

其 实 我 并 没有 特别 地 跟 进 WebDriver 的 扩张 。 比 较 明 确 的 是 ， 在 
物理 位 置 上 离 我 近 的 团队 ， 更 愿意 去 使 用 WebDriver。 我 想 Picasa 网 络 
相册 团队 事实 上 是 第 一 个 真正 使 用 WebDriver 的 团队 ， 而 且 是 在 Wave 团 
队 之 前 ， 然 后 Ads 也 开始 使 用 了 。 在 Google， 不 同 团队 在 使 用 各 目的 
Web 目 动 化 框架 。Chrome 在 使 用 PyAuto，Search 在 使 用 Puppet (有 一 个 
开源 的 版 本 叫做 Web Puppeteer) ，Ads 使 用 WebDriver， 等 等 。 

HGTS: WebDriver 的 未 来 会 怎样 ? 你 们 团队 有 什么 目标 吗 ? 

Simon: 好 吧 ， 目 前 看 起 来 还 有 点 乱 。 即 便 是 在 几 年 前 ， 在 市 场 上 
WAS ERAN Glas, EMEA T 9 IE ^ Firefox ^ Chrome ^ 
Safari ^ Opera #4 HA T E CHITI Hoo He ARAM 9 TE 
动 端的 浏览 器 引擎 也 正在 着 狂 地 扩张 。 在 2008 年 以 后 ， 许 多 商用 的 浏 
贤 怖 目 动 化 工具 把 他 们 都 给 忽略 了 ， 正 除外 ， 这 其 实 是 非常 不 明智 的 
做 法 。 下 一 步 ，WebDriver 会 在 标准 化 上 发 力 ， 这 样 可 以 保证 相同 的 网 
络 应 用 代码 在 不 同 的 浏览 器 上 都 可 以 工作 。 当 然 ， 这 也 需要 浏览 器 三 
商 一 起 参与 进来 ， 文 持 我 们 的 WebDriver API ° 

HGTS: 这 听 起 来 好 像 是 标准 委员 会 要 做 的 事情 。 目 前 有 什么 进展 
吗 ? 

Simon: 是 的 ， 有 一 些 。 很 不 邓 地 是 ， 我 必须 去 写 一 些 英 文 文档 ， 
而 不 是 编写 代码 了 ， 在 W3C 里 有 一 个 文档 ， 所 有 的 浏览 右 开 发 商都 会 
参与 进去 。 

HGTS: 你 和 希望 的 未 来 是 怎样 的 ? 未 来 的 浏览 器 自动 化 工具 又 是 如 
何 工作 的 呢 ? 


Simon: 我 希望 他 们 都 消失 到 后 台 之 中 。 目 动 化 的 API 会 对 所 有 浏 

铝 适 用 ， 人 们 不 用 去 担心 这 些 基础 框架 ， 他 们 仪 仅 去 使 用 即 可 。 项 

望 人 们 能 把 更 多 的 精力 放 在 他 们 Web 应 用 本 身 ， 而 不 是 如 何 去 自 动 化 
上 。 在 人 们 真正 态 了 WebDriver 的 存在 之 后 ， 我 们 就 成 功 了 。 


第 3 章 测试 工程 师 


软件 测试 开发 工程 师 (SET) 负责 可 测试 性 和 测试 自动 化 体系 的 长 
期 有 效 性 。 测 试 工程 师 (Test Engineer, JE fai STE) 的 职责 与 之 有 所 
不 同 ，TE 的 重点 在 于 评估 对 用 户 的 影响 以 及 软件 产品 整体 目标 上 的 风 
险 。 与 Google 的 其 他 大 多 数 技术 六 位 一 样 ，TE 的 工作 涉及 一 些 编程 ， 
但 编程 只 是 一 小 部 分 ， 实 际 上 ， 在 所 有 工程 师 中 他 们 的 职责 范围 堪 称 
最 广 。TE 对 产品 的 贡献 很 大 ， 但 他 们 承担 的 很 多 任务 不 需要 编程 

GE: 这 只 是 通常 的 说 法 。 许 多 TE 所 从 事 的 工作 与 SET 非常 类 似 ， 需 
要 编写 大 量 的 代码 ， 而 另外 一 些 TE 的 职责 更 类 似 发 布 工程 师 ， 只 需要 
编写 很 少量 的 代码 ) 。 


在 前 一 章 里 ， 我 们 说 TE 是 一 种 “用 户 开 发 者 (user-developer) ” 
这 不 是 一 个 容易 理解 的 概念 。 一 个 产品 团队 的 所 有 工程 师 都 是 某 种 类 
型 的 开发 者 ， 这 个 思想 是 团队 成 员 地 位 平等 的 一 个 重要 体现 。 在 
Google 这 样 的 公司 里 ， 对 于 编码 的 敬意 是 公司 文化 中 相当 重要 的 一 
点 。 为 了 成 为 一 等 公民 ，TE 必 须 首先 是 工程 师 的 一 部 分 。Google 的 TE 
综合 了 开发 者 仰慕 的 技术 能 力 和 以 用 户 为 中 心 检 查 软 件 质量 而 对 开发 
者 产生 一 定制 约 的 能 力 。 哇 ， 我 们 简直 古 在 谈论 一 种 分 错 人 格 嘛 ! 

注意 


为 了 成 为 一 等 公民 ，TE 必 须 首 先是 工程 师 的 一 部 分 。Google 的 TE 
综合 了 开发 者 仰 莫 的 技术 能 力 和 以 用 户 为 中 心 检查 软件 质量 而 对 开发 
者 产生 一 定制 约 的 能 

TE 的 职位 描述 是 最 难 定义 的 ， 因 为 其 职责 范围 很 广 而 且 不 确定 。 
人 们 期 望 TE 在 各 种 各 样 的 构建 物 的 完成 、 集 成 、 最 终 形成 完整 的 产品 
过 程 中 监督 所 有 产物 的 质量 。 因 此 ， 大 多 数 的 TE 都 会 从 事 一 些 基 础 技 
术 层 的 、 需 要 另外 一 种 视角 和 较 强 的 专业 技术 能 力 的 工作 。 这 一 切 都 
与 风险 有 关 : TE 以 对 某 种 特定 的 产品 最 合适 的 方式 发 现 软 件 中 风险 最 
大 的 地 方 并 尝试 减 少 或 消除 它 。 如 果 需 要 做 SET 的 工作 ，TE 就 去 做 ; 
如 果 需 要 代码 审查 ， 那 就 只 管 去 做 。 如 果 缺 少 测试 工具 ， 那 束 花 一 些 
时 间 在 上 面 。 

接 下 来 ， 同 一 个 人 还 会 在 项 目的 其 他 时 段 去 领导 探索 式 测试 ， 或 
者 管理 内 部 试用 版 (或 beta 版 ) 的 测试 工作 。 在 不 同 的 项 目 阶段 ，SET 
^I TE 的 重点 不 同 ， 早 期 的 工作 涉及 更 多 的 面向 SET 的 任务 ， 而 项 目 后 
期 才 是 面向 TE 的 任务 。 还 有 一 些 情况 是 TE 的 个 人 选择 ， 他 们 可 以 在 不 
同 的 角色 间 切 换 。 但 凡事 没有 绝对 ， 我 们 在 下 面 所 做 的 描述 ， 只 是 代 
表 了 理想 的 情况 。 


3.2 测试 工程 师 的 工作 


在 Google， 相 比 软件 开发 工程 师 或 软件 测试 开发 工程 师 而 言 ， 测 
试 工程 师 是 一 个 较 新 的 角色 ， 目 前 还 在 形成 中 。 现 在 这 一 代 的 Google 
TE 们 所 做 的 ， 无 疑 是 在 披荆斩棘 ， 为 将 来 的 新 人 铺 好 道路 。 我 们 在 这 
里 所 讲述 的 是 Google 最 新 的 TE 相 关 的 流程 。 

并 非 所 有 的 产品 都 需要 TE 的 介入 。 试 验 性 工作 、 尚 无 明确 目标 或 
用 户 故 事 的 早期 产品 ，TE 很 少 参 与 ， 甚 至 不 参与 。 如 有 果 产 品 有 很 大 的 


可 能 被 取消 (就 是 说 作为 一 个 概念 验证 没有 最 终 通 过 ) ， 或 者 还 没 能 
吸引 用 户 使 用 ， 或 者 功能 还 没有 定型 ， 那 么 测试 工作 一 般 都 应 该 由 产 
品 的 开发 人 员 自己 完成 。 

即使 对 于 一 个 已 经 确定 要 发 布 的 产品 ， 在 其 研发 的 早期 阶段 ， 功 
能 还 在 不 断 变化 ， 最 终 功能 列表 和 范畴 也 还 没有 确定 ，TE 通 常 没有 太 
多 的 工作 可 做 。 早 期 过 度 地 投入 测试 意味 着 资源 的 浪费 ， 尤 其 是 在 SET 
已 经 深度 介入 的 时 候 。 过 早 完 成 的 测试 产物 可 能 会 被 丢弃 ， 也 可 能 
现 最 糟糕 的 情况 ， 虽然 继续 维护 ， 但 是 毫 无 附加 价值 。 早 期 的 测试 计 
划 需 要 较 少 ITE， 而 在 产品 接近 尾声 、 寻 找 pug 变 得 更 加 紧急 的 时 候 ， 需 
要 较 多 的 资源 投入 到 测试 上 进行 探索 式 测 试 。 

注意 

在 研发 的 早期 阶段 ， 功 能 还 在 不 断 变 化 ， 最 终 功 能 列表 和 范畴 还 
没有 确定 ，TE 通 常 没 有 太 多 的 工作 可 做 。 

以 策略 上 讲 ， 给 一 个 项 目 配备 多 少 测试 人 员 ， 取 决 于 项 目 风险 和 
投资 回报 率 。 对 客户 和 公司 的 风险 大 ， 意 味 着 在 测试 上 投入 的 资源 也 
要 多 ， 但 投入 的 资源 应 该 与 其 潜在 的 回报 成 正比 。 我 们 需要 在 正确 的 
时 间 ， 投 入 正确 数量 的 TE， 并 带 来 足够 的 价值 。 

当 TE 进 入 产品 的 时 候 ， 并 不 需要 从 零 开 始 。SWE 和 SET 已 经 在 测 
试 技术 和 质量 方面 做 了 大 量 的 工作 ， 可 以 作为 TE 的 起 点 。TE 在 进入 产 
品 时 ， 需 要 考虑 以 下 一 些 问 题 。 

当前 软件 的 薄弱 点 在 哪里 ? 

有 没有 安全 、 隐 私 、 性 能 、 可 靠 性 、 可 用 性 、 兼 容 性 、 全 球 化 和 


其 他 方面 的 问题 ? 
主要 用 户 场景 是 否 功能 正常 ? 对 于 全 世界 不 同 国家 的 用 户 都 是 这 
样 吗 ? 


这 个 产品 能 与 其 他 产品 (软件 和 硬件 ) 互 操作 吗 ? 
当 发 生 问题 的 时 候 ， 是 否 容易 诊断 问题 所 在 ? 


当然 这 只 是 一 个 不 完全 列表 。 所 有 这 些 加 起 来 ， 构 成 发 布 待 评估 
软件 的 风险 概要 。TE 并 不 需要 自己 去 解决 所 有 这 些 问 题 ， 但 必须 保证 
这 些 问 题 被 解决 掉 ， 他 们 可 以 请 其 他 人 帮忙 评估 还 有 多 少 工作 需要 去 
做 。TE 的 根本 使 命 是 保护 用 户 和 业务 的 利益 ， 使 之 不 受到 糟糕 的 设 
计 、 令 人 困惑 的 用 户 体验 、 功 能 bug、 安 全 和 隐私 等 问题 的 困扰 。 在 
Google，TE 是 一 个 团队 中 全 职 地 负责 从 整体 角度 发 现 产 品 或 服务 弱点 
的 唯一 角色 。 因 此 ， 与 SET 相 比 ，TE 的 工作 并 不 是 那么 确定 。TE 会 介 
入 项 目的 各 个 阶段 ， 从 产品 的 构思 阶段 到 第 8 个 版 本 ， 甚 至 是 照看 一 个 
已 经 下 线 的 项 目 。 一 个 TE 同时 参与 几 个 项 目 也 很 常见 ， 尤 其 是 那些 具 
备 安全 、 隐 私 或 全 球 化 等 专门 技能 的 TE。 

显然 ， 在 不 同 的 项 目 中 ，TE 的 工作 内 容 也 会 有 较 大 的 不 同 。 一 些 
TE 会 在 编码 方面 投入 较 多 的 时 间 ， 但 主要 是 写 中 到 大 型 的 测试 CAD 
到 端的 用 户 场 景 ) 而 非 小 型 测试 。 其 他 一 些 TE 会 检查 代码 和 系统 设计 
以 确定 失效 模式 ， 并 寻找 导致 失效 的 错误 路 径 。 在 这 种 情况 下 ，TE 可 
能 会 去 修改 代码 ， 但 这 与 从 头 编写 代码 是 不 同 的 。TE 在 测试 计划 及 测 
试 完整 性 上 必须 更 加 系统 和 周密 ， 重 点 在 真实 用 户 的 使 用 方式 和 系统 
级 别 的 体验 上 。TE 擅 长 发 现 需 求 中 的 模糊 之 处 ， 分 析 沟通 不 明确 的 问 
题 。 

成 功 的 TE 游 走 于 这 些微 妙 且 敏感 的 地 方 ， 有 了 时候 还 要 与 个 性 很 强 
的 开发 和 产品 人 员 打 交道 。 一 旦 找到 薄弱 点 ，TE 就 会 通过 测试 使 软件 
出 错 ， 然 后 与 开发 、 产 品 、SET 一 起 推动 解决 这 些 bug。TE 通 常 是 团队 
里 最 出 名 的 人 ， 因 为 他 们 需要 与 各 种 角色 沟通 。 

考虑 到 技术 能 力 、 领 导 力 、 深 刻 理 解 产 品 的 能 力 等 多 方面 的 要 
求 ，TE 的 职位 描述 有 点 上 吓人。 事实 上 ， 如 果 没 有 合适 的 指导 ， 很 多 人 
难以 胜任 这 个 工作 。 幸 运 的 是 ， 在 Google， 一 个 由 TE 组 成 的 强大 社区 
的 出 现 解 决 了 这 个 问题 。 在 所 有 的 工种 里 ，TE 可 能 是 在 互 帮 有 互助 方面 


做 得 最 好 的 了 。 这 个 角色 需要 敏锐 的 洞察 力 和 领导 力 ， 因 此 很 多 
Google 的 高 级 测试 经 理 们 都 来 自 于 TE e 

注意 

这 个 角色 需要 敏锐 的 洞察 力 和 领导 力 ， 因 此 很 多 Google 的 高 级 测 
试 经理 们 都 来 自 于 TE 。 

TE 的 工作 经 党 需要 去 打破 常规 流程 。TE 可 以 在 任何 时 间 进 入 项 
目 ， 必 须 迅 速 评估 项 目 、 代 码 、 设 计 和 用 户 的 当前 状态 ， 然 后 决定 首 
要 的 关注 点 。 如 果 项 目 刚刚 开始 ， 测 试 计 划 是 第 一 优先 级 。 有 了 时，TE 
在 产品 后 期 被 拉 进 来 帮助 评 佑 项 目 是 否 可 以 发 布 ， 或 者 在 beta 版 本 发 布 
之 前 确认 还 有 哪些 主要 的 问题 。 当 TE 进入 了 一 个 新 被 收购 的 应 用 或 缺 
少 相 关 应 用 经 验 的 时 候 ， 他 们 经 常会 完 去 做 一 些 不 怎么 需要 计划 的 探 
索 式 测试 。 有 时 ， 项 目 已 经 很 久 没 有 发 布 了 ， 只 是 需要 去 做 一 些 修 
饰 、 安 全 补丁 或 界面 更 新 ， 这 需要 锭 然 不 同 的 方法 。 

在 Google，TE 需 要 在 不 同 的 项 目 中 做 不 同 的 事情 。 我 们 经 常 将 TE 
的 工作 描述 为 “从 中 间 开 始 (starting in the middle) ”， 因 为 TE 必 须 保 持 
足够 的 灵活 ， 能 够 迅速 融入 一 个 产品 团队 的 文化 和 现状 。 如 果 做 测试 
计划 已 经 来 不 及 了 ， 那 就 干脆 不 做 了 。 如 果 一 个 项 目 最 需要 的 是 测 
试 ， 那 就 做 一 个 简单 够 用 的 指导 性 计划 。 一 些 测试 教条 所 倡导 的 从 头 
就 介入 的 模式 ， 在 Google 并 不 适用 。 

下 面 是 我 们 关于 TE 职 责 的 一 般 性 描述 。 

测试 计划 和 风险 分 析 。 

评审 需求 、 设 计 、 代 码 和 测试 。 

探索 式 测试 。 

用 户 场景 。 

编写 测试 用 例 。 

执行 测试 用 例 e 


RE (译注: crowdsourcing， 是 互联 网 带 来 的 新 的 生产 组 织 形 
式 。 一 个 公司 或 机 构 把 过 去 由 员工 执行 的 工作 任务 ， 以 自由 目 愿 的 形 
式 外 包 给 非特 定 的 (通常 是 大 型 的 ) 大 众 网 络 的 做 法 ) 。 

使 用 统计 。 

用 户 反 馈 。 

当然 ， 能 够 最 好 的 完成 这 些 任务 的 ， 是 那些 有 很 强 的 人 格 魅 力 和 
优秀 的 沟通 技巧 的 测试 工程 师 。 


3.2.1 测试 计划 


和 测试 人 员 相 比 ， 开 发 人 员 有 一 个 优势 就 是 他 们 的 工作 产物 是 每 
个 人 都 真正 关心 的 。 开 发 人 员 编 写 代 码 ， 构 建 用 户 期 望 的 、 能 为 公司 
赚钱 的 应 用 。 很 明显 ， 代 码 是 项 目 过 程 中 产生 的 最 重要 的 文档 。 

然而 ， 测 试 人 员 要 处 理 的 是 真正 的 文档 和 其 他 临时 性 的 事物 。 在 
项 目的 早期 阶段 ， 测 试 人 员 编 写 测试 计划 ; 然后， 他们 创建 和 执行 测 
试用 例 ， 编 写 bug 报 告 ;， 接 下 来 是 准备 覆盖 度 报 告 ， 收 集 用 户 满意 度 和 
软件 质量 数据 。 在 软件 成 功 发 布 (或 失败 ) 之 后 ， 很 少 有 人 会 问 及 测 
斌 产物 是 什么 。 如 末 软 件 深 受 人 们 喜爱 ， 大 家 束 会 认为 测试 所 作 所 为 
EET IY SAY; 如 果 软 件 很 糟 糙 ， 人 们 可 能 吏 会 质疑 测试 工作 。 但 其 
实 也 没 人 真正 想 去 了 解 测试 到 展 做 了 什么 。 

测试 人 员 不 应 该 对 测试 文档 过 于 珍爱 。 软 件 开 发 过 程 充 满 了 痛 否 
的 挣扎 : 编码、 评审、 构建、 测试 、 一 轮 接 一 轮 的 开发 等 ， 在 这 个 过 
程 里 实在 很 难 有 时 间 坐 下 来 欣 质 一 下 测试 计划 。 粳 糕 的 测试 用 例 不 会 
受到 足够 的 关注 和 改善 ， 它 们 只 会 个 抛弃 ， 而 最 后 留 下 来 的 十 更 好 的 
测试 用 例 。 关 家 的 关注 点 集中 在 不 断 增 长 的 代码 库 ， 这 才 且 最 重要 的 
东西 ， 理 应 如 此 。 


作为 一 种 测试 文档 ， 测 试 计划 的 生命 周期 是 所 有 测试 产物 中 最 短 
的 (显然 ， 当 客户 明确 要 求 编写 测试 计划 ， 或 者 出 于 某 些 政府 法 规 要 
求 ， 职 没 这 么 灵活 了 。 某 些 场合 必须 有 测试 计划 并 且 保持 更 新 ) 。 在 
项 目 早 期 ， 人 们 需要 一 个 测试 计划 ( 见 附录 A: Chrome OS 测试 计 
划 ) 。 事 实 上 ， 项 目 经 理 经 常 坚 持 必须 有 一 个 测试 计划 ， 并 将 编写 测 
试 计 划 作 为 一 个 比较 重要 的 里 程 碑 。 但 是 ， 一 旦 计划 就 绪 ， 这 些 人 就 
把 它 扔 到 一 边 了 ， 既 不 评审 也 不 更 新 。 测 试 计划 束 像 是 闹 脾 气 的 小 孩 
儿 手 中 可 爱 的 毛 绒 玩 具 。 我 们 希望 它 总 是 存在 ， 到 哪里 都 能 带 着 它 ， 
但 却 从 不 真正 关注 它 。 只 有 它 被 拿 走 的 时 候 ， 我 们 才 会 发 出 尖 叫 。 

测试 计划 是 最 早出 现 、 最 先 人 补遗 坪 的 测试 产物 。 在 项 目 早 期 ， 测 
试 计划 代表 了 对 软件 功能 的 预期 。 但 是 ， 除 非得 到 持续 的 关注， 它 会 
很 快 随 着 新 代码 的 完成 、 功 能 特性 的 改变 以 及 设计 的 调整 而 过 期 。 伴 
随 着 计划 内 或 计划 外 的 变更 ， 维 护 一 份 测 试 计划 是 要 花费 大 量 精 力 
的 ， 除 非 多 数 项 目的 成 员 会 定期 得 看 ， 否 则 测试 计划 并 没有 什么 价 
值 。 

注意 

测试 计划 古 最 早出 现 、 最 先 被 壮 息 的 测试 产物 。 

后 面 这 一 总 是 测试 计划 真正 的 杀手 : 试问 在 产品 的 整个 生命 周期 
中 ,测试 计划 能 在 多 大 程度 上 作为 测试 活动 的 指导 ? 测试 人 员 会 不 断 
参考 计划 来 安排 一 个 应 用 的 测试 吗 ? 会 要 求 开发 人 员 在 功能 增加 或 修 
改 时 去 更 新 测试 计划 吗 ? 在 开发 经 理 管理 to-do 列 表 的 时 候 ， 他 们 会 在 
桌面 上 打开 一 份 测试 计划 吗 ? 在 进展 沟通 会 议 上 ， 测 试 经 理会 经 钊 参 
考 测试 计划 的 内 容 吗 ?” 如 果 测 试 计划 真 的 重要 ， 那 么 所 有 这 些 事情 应 
该 每 天 部会 发 生 。 

理想 情况 下 ， 测 试 计划 应 当 在 项 目 执行 中 发 挥 核 心 作用 ， 应 当 在 
软件 的 整个 生命 周期 中 持续 有 效 : 随 着 代码 库 的 更 新 而 更 新 ， 时 刻 代 


表 最 新 的 产品 功能 ， 而 不 是 停留 在 项 目 开 始 阶段 时 的 样子 。 它 应 该 可 
以 帮助 一 个 靳 加 入 的 工程 师 迅 速 跟 上 项 目 进展 。 

但 是 ， 这 些 不 过 都 是 理想 情况 而 已 。 在 Google 或 其 他 公司 中 ， 其 
实 很 少 有 测试 人 员 能 真正 做 到 。 

下 面 是 我 们 希望 测试 计划 具有 的 一 些 特性 。 

及 时 地 更 新 。 

揪 述 了 软件 的 目标 和 卖点 。 

描述 了 软件 的 结构 、 各 种 组 件 和 功能 特性 的 名 称 。 

描述 了 软件 的 功能 和 操作 简介 。 

从 纯粹 测试 的 角度 看 ， 我 们 担心 的 是 测试 计划 的 投入 和 价值 产 出 
是 否 匹配 。 

不 必 花 过 多 的 时 间 去 搂 写 ， 必 须 随 时 可 以 被 修改 。 

应 该 描述 必 测 点 。 

应 该 能 在 测试 中 提供 有 用 的 信息 ， 从 而 帮助 确定 进展 以 及 履 盖 率 
上 的 不 足 。 

在 Google， 测 试 计划 的 历史 与 我 们 所 经 历 的 其 他 公司 基本 相同 。 
测试 计划 曾经 是 由 各 团队 根据 自身 的 实际 情况 自行 定义 和 执行 的 。 一 
些 团队 用 Google Docs (文本 文档 和 电子 表格 ) 编写 测试 计划 ， 与 整个 
工程 团队 分 享 ， 但 不 放 在 中 心 数据 库 里 ， 一些 团队 将 测试 计划 放 到 产 
品 主页 的 链接 里 ; 一些 团队 则 放 到 项 目的 内 部 Google Sites MH, ay 
者 作为 工程 设计 文档 或 内 部 wikis 的 链接 少数 团队 甚至 使 用 Microsoft 
Word 文 档 ， 通 过 电子 邮件 传播 一 一 很 老 派 的 方式 ; 一 些 团 队 完 全 没有 
测 斌 计划。 我们 只 能 认为 测试 用 例 的 总 数 代 表 了 整个 测试 计划 。 

这 些 测 试 计划 的 评审 链条 是 不 透明 的 ， 很 难 确定 作者 和 评审 者 。 
相当 多 的 测试 计划 有 一 个 时 间 和 日 期 戳 ， 非 名 清楚 地 表明 了 它们 悠长 
的 被 遗 坪 的 历史 ， 就 像 冰 箱 角 沙里 沸 铅 的 保质 期 一 样 。 它 一 定 在 某 个 
时 间 对 某 个 人 发 挥 了 重要 的 作用 ， 但 那个 时 间 已 经 一 去 不 返 了 。 


在 Google， 曾 经 流行 过 为 所 有 产品 建立 一 个 中 心 库 和 模板 的 建 
议 。 这 个 有 趣 的 想法 曾经 在 别 的 公司 竹 试 过 ,但 显然 是 与 Google 内 在 
的 分 布 式 和 目 我 管理 的 文化 相 导 的 。 在 Google,“ 州 权 ” 是 和 常态， 而 大 政 
TERR SE SITE ° 

ACC (Attribute Component Capability, BITE ` ZA fF ^ HEA » 
是 一 种 测试 计 划 By T d X 法 
http://googletesting.blogspot.com/2011/10/google-test-analytics-now-in- 
open.html) 分 析 是 一 个 从 许多 Google 测 试 团队 的 最 佳 实践 中 总 结 出 来 
的 ， 并 被 本 书 作 者 和 几 位 同事 在 各 种 产品 领域 里 倡导 的 流程 。ACC 已 
经 度 过 了 早期 试用 阶段 ， 也 正 被 其 他 公司 所 采用 并 有 了 工具 文 持 ， 得 
到 了 开发 者 的 关注 。 读 者 可 以 用 “Google Test Analytics” 天 键 词 搜索 到 这 
hale 

ACC 的 指导 原则 如 下 。 

避免 散漫 的 文字 ， 推 荐 使 用 人 简明 的 列表 。 并 不 是 所 有 的 测试 人 员 
都 想 当 小 说 家 ， 也 不 具备 将 一 个 产品 的 目标 或 测试 需求 表达 成 散文 的 
技能 。 而 且 ， 元 词 约 名 容易 误 读 ， 只 列 出 要 点 和 事实 就 行 了 。 

不 必 推 锁 。 测 试 计划 不 是 营销 文案 ， 既 不 是 要 讨论 一 个 产品 满足 
了 多 么 重要 的 市 场 定位 ， 也 不 是 讨论 这 个 产品 有 多 么 酷 的 功能 。 测 试 
计划 不 是 给 客户 或 分 析 师 看 的 ， 它 的 受众 人 群 是 工程 师 。 

简洁 。 测 试 计划 并 没有 长 度 的 要 求 。 它 不 是 中 学 的 项 目 作 业 ， 长 
度 无 关 紧 要 ， 不 是 越 长 越 好 。 计 划 的 大 小 与 测试 问题 的 规模 有 关 ， 与 
作者 的 写作 和 欲望 无 关 。 

不 要 把 不 重要 的 、 无 法 执行 的 东西 放 进 测试 计划 。 相 关 人 员 毫 不 
天 心 的 东西 ， 就 一 个 词 也 不 要 出 现 。 

渐进 式 的 描述 (Make it flow) 。 测 试 计划 的 每 个 部 分 应 该 是 前 面 
部 分 的 延伸 ， 以 便 读 者 可 以 随时 停止 阅读 并 且 对 产品 的 功能 有 一 个 初 
步 的 印象 。 如 果 读 者 希望 了 解 更 多 的 细节 ， 那 么 他 可 以 继续 读 下 去 。 


v 
e x 


指导 计划 者 的 思路 。 一 个 好 的 计划 过 程 能 帮助 计划 者 思考 产品 功 
能 及 其 测试 需求 ， 从 而 有 条 不 率 地 从 高 层 概念 过 渡 到 可 以 被 直接 实现 
的 低层 细节 。 

最 终结 果 应 该 是 测试 用 例 。 在 计划 完成 的 时 候 ， 它 不 仅 要 清楚 地 
描述 要 做 什么 样 的 测试 ， 并 且 还 可 以 清楚 地 指导 测试 用 例 的 编写 。 做 
出 一 个 不 直接 指导 测试 的 计划 纯粹 是 在 浪费 时 间 。 

注意 

做 出 一 个 不 直接 指导 测试 的 计划 纯粹 是 在 浪费 时 间 。 

最 后 一 点 非常 重要 : 如 果 测 斌 计划 没有 把 测试 用 例 应 该 怎么 执行 
描述 得 足够 详细 ， 它 就 没有 达到 预先 设 定 的 帮助 测试 的 本 义 。 对 测试 
的 计划 (the planning of tests) 而 言 ， 它 显然 应 该 让 我 们 清楚 地 知道 需 
要 编写 哪些 测试 用 例 。 当 你 正好 处 于 “完全 了 解 需要 编写 哪些 测试 ”这 
一 点 时 ， 才 算 完成 了 测试 计划 。 

ACC 通 过 指导 计划 者 依次 考察 产品 的 三 个 维度 达成 这 个 目标 : 描 
述 产品 目标 的 形容 词 和 副词 ， 确 定 产品 各 部 分 、 各 特性 的 名 词 ， 描 述 
产品 实际 做 什么 的 动词 。 这 样 ， 我 们 通过 测试 完成 的 就 是 验证 这 些 能 
力 (capabilities) 能 正常 运作 、 产 品 各 组 件 (component) 能 满足 应 用 
的 目标 。 

1.A 代 表 特 质 (Attribute) 

在 开始 测试 计划 或 做 ACC 分 析 的 时 候 ， 必 须 先 确定 该 产品 对 用 
户 、 对 业务 的 意义 。 我 们 为 什么 要 开发 这 个 东西 呢 ? 它 能 带 来 什么 核 
心 价值 ? 它 又 靠 什么 来 吸引 用 户 ? 记 住 ， 我 们 既 不 需要 为 这 些 问 题 做 
淳 护 ， 也 不 需要 做 什么 解释 ， 只 要 写 下 来 就 行 了 。 我 们 可 以 假定 产品 
经 理 和 做 产品 计划 的 人 ， 或 者 开发 人 员 已 经 在 这 方面 做 了 该 做 的 事 
情 。 从 测试 的 角度 看 ， 我 们 只 需要 确定 并 记 下 来 ， 以 备 后 续 测 试 使 用 
即 可 。 


我 们 通过 一 个 称 为 特质 、 组 件 、 能 力 分 析 的 过 程 来 记录 这 些 核 心 
价值 。 

特质 是 系统 的 形容 词 ， 代 表 了 产品 的 品质 和 特色 ， 是 区 别 于 竞争 
对 手 的 关键 。 在 某 种 程度 上 ， 是 人 们 选择 你 的 产品 而 不 是 竞争 对 手 的 
产品 的 原因 。 例 如 ，Chrome 的 定位 是 快速 、 安 人 全、 稳定 和 优雅 ， 这 正 
是 我 们 通过 ACC 记 录 的 特质 。 之 后 ， 我 们 希望 能 够 将 测试 用 例 关 联 到 
这 些 标签 ， 这 样 ， 我 们 融会 知道 在 验证 Chrome 的 快速 、 安 全 等 特质 方 
面 已 经 完成 了 多 少 测试 。 

注意 

特质 是 系统 的 形容 词 ， 代 表 了 产品 的 品质 和 特色 ， 是 区 别 于 竞争 
对 手 的 关键 ， 也 是 人 们 选择 你 的 产品 而 不 是 竞争 对 手 的 产品 的 原因 。 

一 般 来 说 ， 产 品 经 理会 整理 一 个 系统 特质 的 列表 ， 测 试 人 员 通 过 
阅读 产品 需求 文档 、 团 队 愿 景 和 使 命 声明 ， 甚 至 是 听 销 售 跟 潜在 的 客 
户 描 绘 这 个 系统 来 确定 这 个 列表 。 说 真 的 ， 我 们 发 现在 Google 里 ， 推 
销 员 和 产品 传道 士 是 极 佳 的 特质 来 源 。 想 象 一 下 箱 体 广告 或 你 的 产品 
将 要 如 何在 QVC CTE: QVC 是 全 球 最 大 的 电视 与 网 络 的 百货 零售 
两 ， 含 义 是 Quality 质 量 、Value 价 值 、Convenience 便 利 ， 通 过 电视 与 网 
络 购物 服务 直达 美国 8 000 万 户 以 上 的 家 庭 ) 上 做 宣传 ， 你 就 会 找到 列 
出 这 些 特 质 的 感觉 了 。 

下 面 是 一 些小 窍 上 ]， 可 以 帮助 你 在 目 己 的 项 目 里 确定 产品 特质 列 
Fo 

简单 。 如 果 1 一 2 个 小 时 还 没有 完成 ， 那 么 你 在 这 一 步 花 的 时 间 太 
at 

精确 。 确 保 它 来 自 于 团队 已 经 普遍 认同 的 文档 或 营销 信息 。 

变化 。 不 必 担 心 您 是 否 漏 掉 了 什么 一 一 如 果 后 来 发 现 这 个 特质 不 
明显 ， 极 有 可 能 它 也 不 怎么 重要 。 


短小 。 数 量 方面 ， 一 打 (十 二 个 ) 是 一 个 不 错 的 目标 。 我 们 曾经 
为 一 个 操作 系统 总 结 了 12 条 关键 特质 如 图 3.1 所 示 。 现 在 回顾 起 来 ， 
实 可 以 缩短 到 8 项 或 9 项 。 

本 章 的 一 些 插图 是 示意 性 的 ， 有 些 细 市 可 能 看 不 清楚 

使 用 特质 的 目的 ， 是 确定 哪些 特性 是 产品 存在 的 根本 原因 ， 并 使 
这 些 原 因为 测试 人 员 所 周知 。 这 样 ， 他 们 页 ;会 意识 到 自己 所 做 的 测试 
是 如 何 对 产品 存在 的 根本 原因 产生 影响 的 。 

注意 
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A 图 3.1 原来 的 Chrome 风 险 分 析 


拿 Google Sites 这 个 产品 来 举 个 例子 。 ML 的 应 用 ， 供 开 
放 或 封闭 的 社区 建立 自己 的 共享 网 站 。 Sites es 终端 应 用 ， 在 它 
的 文档 里 描述 了 大 多 数 的 特质 ， 如 图 3.2 所 示 。 


实际 上 ， 大 多 数 应 用 程序 具有 类 似 的 开始 页 面 或 销售 材料 ， 这 经 
党 可 以 帮 你 确定 特质 列表 。 如 有 果 没 有 ， 那 就 找 一 个 销售 聊 一 聊 ， 或 者 
采用 更 好 的 方式 (如 参加 一 个 销售 电话 或 演示 ) ， 就 可 以 得 到 所 需 信 
T ° 

特质 束 在 那里 等 大 你 。 如 琳 你 不 能 在 几 分 钟 内 列举 出 来 ， 说 明 你 
还 没有 足够 的 理解 你 的 产品 ， 还 不 能 有 效 地 测试 它 。 一 旦 熟悉 了 你 的 
产品 ， 罗 列 特质 不 过 是 几 分 钟 的 事情 。 
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Home Google Sites overview 


Overview as the easiest way to make information accessible to people le can wok bogiar on a Se $ b sid o ati — infomation from other Google appli 
ike Googie Docs, Google Calendar, YouTube and Picasa) UR MUN content. (tM site le together is as easy as editing a e docunen, and yi whether it opem 
or your whole organization. You can even publish Sites to the world. The Google Sites web application is Pesach bey le from any int 


com nga Er ie Site just takes the click of a button 

No HTML required 

Creating a Googie Site is as easy as editing a document, which means there's no markup language for you to learn — just get started. 

Make it your own 

Our customization options let you give your Google Sae your own look and feel 

Got started with templates 

We offer a growing list of page types — web page, announcements, file cabinet, dashboard and list - to help you get started with your Google Sites pages 

Upload files and attachments 

Use the file cabinet to upload files up to 10MB in size. Each Google Apps account receives at least 10GB of storage in Google Sites. Google Apps Premier and Education editions get an additional 500MB for each 
user account. 


Embed rich content 

Google Sites is integrated with other Google products, so you can insert videos, docs, spreadsheets, presentations, photo slide shows, and calendars directly onto your Google Sites pages. 

Work together and share 

Our permission settings let you designate owners, viewers and collaborators (meaning they can edit pages) for your site. And you can make your Google Sites available to just a few people, your entire organization, or 
the world. 

Search with Google 

You can search across Google Sites pages and content using powerful Google search technology. You find specific pages and documents instantly, the same way you would on Google.com. 


图 3.2 欢迎 来 到 Google Sites 
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注意 

如 果 你 不 能 在 几 分 钟 内 列举 出 特质 ， 说 明 你 还 没有 足够 的 理解 你 
的 产品 ， 还 不 能 有 效 地 测试 它 。 

在 Google， 我 们 使 用 了 不 少 工具 来 记录 特质 ， 从 文档 到 电子 表格 
再 到 定制 工具 ， 例 如 由 几 个 勤 揭 的 工程 师 开 发 出 来 的 Google Test 


Analytics (GTA) 。 用 什么 工具 并 不 重要 ， 重 要 的 是 把 这 些 特质 都 记录 
下 来 ， 如 图 3.3 所 示 。 


Jarbon@google.com | Sign out 
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图 3.3 GTA 中 记录 的 Google Sites 的 特质 


2.C 代 表 组 件 (component) 

组 件 是 系统 的 名 词 ， 在 特质 被 识别 之 后 确定 。 组 件 是 构成 待 建 系 
统 的 模块 ， 例 如 在 线 商 店 的 购物 车 和 结账 系统 ，Word 处 理 器 的 格式 化 
和 打印 功能 等 。 组 件 是 使 一 个 软件 之 所 以 如 此 的 关键 代码 块 。 实 际 
上 ， 他 们 正 是 测试 人 员 要 测试 的 对 象 。 

注意 

组 件 是 构成 待 建 系统 的 模块 ， 是 使 一 个 软件 之 所 以 如 此 的 核心 要 
素 和 代码 块 。 

一 般 来 说 ， 组 件 容 易 识 别 ， 经 常 出 现在 设计 文档 里 。 对 大 型 系统 
来 说 ， 它 们 是 架构 图 里 的 大 框架 ， 经 常 出 现在 bug 库 中 的 标签 里 ， 或 者 
在 项 目 主页 和 文档 中 被 高 亮 出 来 。 对 小 型 项 目 来 说 ， 它 们 是 代码 里 的 
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类 和 对 象 。 无 论 何 时 ， 只 要 问 一 下 开发 人 员 * 你 们 在 编写 什么 组 件 ”， 
你 就 可 以 毫 不 费力 地 得 到 一 个 列表 © 

与 特质 一 样 ， 在 识别 组 件 时 ， 到 达 何 种 级 别 的 细致 程度 是 至 关 重 
要 的 。 太 多 的 细 届 除了 把 人 搞 尝 之 外 不 会 再 有 什么 好 处 ， 而 太 少 的 细 
节 也 会 导致 无 物 可 测 。 确 保 一 个 短小 的 列表 : 10 看 起 来 不 错 ，20 就 太 
多 了 ， 当 然 除非 系统 非常 大 。 把 一 些 次 要 的 东西 排除 在 外 ， 是 可 以 
的 。 既 然 是 次 要 的 ， 那 它们 或 者 是 另外 一 个 组 件 的 一 部 分 ， 又 或 者 对 
于 最 终 用 户 而 言 都 无 关 紧 要 ， 不 值得 在 上 面 花 精力 。 

事实 上 ， 对 于 特质 和 组 件 来 说 ， 用 几 分 钟 的 时 间 来 理 清 它 们 就 足 
够 了 。 如 采 你 费 了 很 大 劲 来 确定 这 些 组 件 ， 那 说 明 你 对 产品 缺乏 了 
解 ， 你 应 该 花 一 些 时 间 来 使 用 它 直 到 成 为 高 级 用 户 。 任 何 高 级 用 户 都 
应 该 能 够 立即 罗列 出 特质 列表 ， 任 何 对 源 代 码 和 文档 有 访问 权限 的 项 
目 内 部 人 员 也 应 该 能 够 迅速 地 列 出 它 的 组 件 。 训 无 疑问 ， 我 们 认为 很 
重要 的 一 点 是 ， 测 试 人 员 既 是 高 级 用 户 ， 也 是 项 目 内 部 人 员 。 

最 后 ， 不 必 担 心 完整 性 问题 。 整 个 ACC 过 程 的 要 点 是 快速 行动 ， 
动态 迭代 。 漏 挥 的 特质 可 以 在 罗列 组 件 时 被 发 现 。 当 你 开始 做 “能 
部 分 (译注 : Capability， 见 下 一 节 ) 的 时 候 ， 你 也 会 找到 那些 先前 遗 
漏 鸭 特质 或 组 件 。 

Google Sites 的 组 件 如 图 3.4 所 示 。 

3.C 代 表 能 力 (capability) 

能 力 是 系统 的 动词 ， 代 表 着 系统 在 用 户 指 令 之 下 完成 的 动作 。 它 
们 是 对 输入 的 响应 、 对 查询 的 应 答 ， 以 及 代表 用 户 完 成 的 活动 。 事 实 
上 ， 这 正 是 用 户 选择 一 个 软件 的 原因 所 在 : 他 们 需要 一 些 功能 而 你 的 
软件 提供 了 这 些 功能 。 
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Google test analytics 
+] Sites-Test 
Components 


Components are the ‘moving parts' of your application. Typically components are core libraries, data 
sources, parts of the code base, and so on. Leam more 
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图 3.4 GTA 中 记录 的 Google Sites 的 组 件 
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注意 

能 力 是 系统 的 动词 ， 代 表 着 系统 在 用 户 指令 之 下 完成 的 动作 。 它 
们 是 对 输入 的 响应 、 对 查询 的 应 答 以 及 代表 用 户 完成 的 活动 。 

例如 ，Chrome 具 有 泻 染 Web 页 面 和 播放 Flash 文 件 的 能 力 ， 可 以 同 
步 多 个 客户 端 ， 下 载 文档 。 所 有 这 些 都 是 能 力 ， 再 加 上 许多 其 他 的 功 
能 ， 构 成 了 Chrome Web 浏 贤 絮 的 完整 能 力 集合 。 男 一 方面 ， 一 个 购物 
应 用 具有 商品 搜索 和 完成 一 笔 交 易 的 能 力 。 当 一 个 应 用 能 够 完成 一 个 
任务 的 时 候 ， 这 个 任务 就 被 标记 为 它 的 一 项 能 力 。 

能 力 处 于 特质 和 组 件 的 交点 。 组 件 (component) 执行 某 种 功能 

(function) 来 满足 产品 的 一 个 特质 (attribute) ， 这 个 活动 的 结果 是 向 

用 户 提 供 某 种 能 力 (capability) ° Chrome 飞 快 地 演 染 一 个 页 面 。 
Chrome 安 全 地 播放 一 个 Flash 文 件 。 如 果 你 的 产品 所 做 的 一 件 事情 不 属 
于 任何 特质 和 组 件 的 交点 ， 这 件 事 大 概 也 是 无 天 紧要 的 ， 而 且 还 会 让 


人 产生 疑问 : 为 什么 要 实现 这 样 的 功能 呢 ? 如 果 一 个 功能 不 能 为 产品 
带 来 核心 价值 ， 就 像 是 可 以 被 去 掉 的 肥 肉 一 样 ， 那 么 这 个 功能 也 就 无 
其 益处 ， 反 而 可 能 会 带 来 不 少 毛病 。 事 实 或 者 如 此 ， 或 者 是 有 合理 的 
解释 但 你 却 不 知道 。“ 不 懂 产 品 * 是 测试 这 个 职业 所 不 可 接受 的 。 任 何 
工程 师 ， 如 果 理 解 了 产品 的 用 户 价 值 ， 他 就 可 以 成 为 一 名 测试 人 员 。 
这 里 是 一 个 例子 ， 展 示 了 一 个 在 线 商 店 具 有 的 能 
从 购物 车 里 增加 或 删除 物品 。 这 是 Cart (购物 车 ) 组 件 在 满足 直观 
的 U (I Intuitive UI) 特质 时 的 一 个 能 力 。 
获得 信用 卡 和 验证 数据 。 这 是 Cart 组 件 在 满足 便利 (convenient) 
特质 和 集成 (Integrated) 特质 (如 与 支付 系统 集成 ) 时 的 一 个 能 力 。 
使 用 HTTPS 处 理 钱 款 交易 。 这 是 Cart 组 件 在 满足 安全 (secure) 特 
质 时 的 一 个 能 力 。 
基于 购物 者 正在 浏览 的 商品 提供 建议 。 这 是 Search 组 件 在 满足 便 
Al] (convenient) 特质 时 的 一 个 能 力 。 
计算 送 货 成 本 。 这 是 UPS 集 成 组 件 在 满足 快速 (fast) 和 安全 
(secure) 特质 时 的 一 个 能 力 。 
显示 剩余 库存 。 这 是 Search 组 件 在 满足 便利 (convenient) 和 精准 
(accurate) 特质 时 的 一 个 能 力 。 
推迟 购买 。 这 是 Cart 组 件 在 满足 便利 (convenient) 特质 时 的 一 个 


能 力 。 
根据 关键 字 、SKU 和 类 目 搜索 商品 。 这 是 Search 组 件 在 满足 便利 
(convenient) 和 精准 (accurate) 特质 时 的 一 个 能 力 。 一 般 情 况 下 ， 我 
们 倾向 于 把 每 一 种 搜索 当 作 一 个 单独 的 能 
显然 你 会 发 现 大 量 的 能 力 。 当 你 感到 正在 列 出 所 有 可 测 之 处 的 时 
候 ， 说 明 你 已 经 掌握 了 AcCC 的 精 散 ， 那 就 是 快速 简明 的 列 出 保证 符 验 
证 系统 能 正常 运转 的 那些 最 重要 的 能 


能 力 一 般 是 面 问 用 户 的 ， 表 达 的 是 用 户 眼 里 系统 的 行为 ， 往 往 比 
等 质 和 组 件 都 要 多 很 多 。ACC 的 前 两 步 齐 循 简 污 法则， 而 能 力 则 应 当 
摘 述 系统 的 完整 功能 ， 因 此 基于 应 用 的 功能 丰富 性 和 复杂 性 ， 能 力 在 
数量 上 可 以 很 大 。 

MRI TE Google 涉及 的 系统 而 言 ， 大 型 复杂 应 用 拥有 成 百 上 千 个 
能 力 (例如 ，Chrome OS 有 300 多 项 能 力 ) ， 而 较 小 的 应 用 则 有 数 十 个 
能 力 。 当 然 ， 只 有 几 个 能 力 的 产品 也 是 有 的 ， 往 往 只 需要 开发 人 员 目 
己 或 少数 早期 用 户 做 一 些 测试 束 行 了 。 因 此 ， 当 所 测 产品 的 能 力 少 
20 个 时 ， 可 能 需要 反思 一 下 目 己 在 这 个 项 目 中 的 意义 。 

能 力 最 重要 的 一 个 特点 是 它 的 可 测试 性 。 这 是 我 们 用 主动 语 仿 来 
表达 能 力 的 主要 原因 。 它 们 是 动词 ， 因 为 我 们 为 了 完成 某 个 动作 ， 我 
们 不 得 不 编写 测试 用 例 去 验证 这 个 能 力 得 到 了 正确 的 实现 ， 而 用 户 将 
因为 这 个 特性 而 喜欢 这 个 产品 。 后 面 我 们 将 讨论 如 何 把 能 力 转换 成 测 
试用 例 。 

注意 

能 力 最 重要 的 一 个 特点 是 它 的 可 测试 性 。 

在 罗列 能 力 时 ， 应 该 达到 什么 样 的 抽象 级 别 呢 ? 这 在 Google TE 中 
存在 很 大 的 争议 。 依 其 定义 ， 能 力 不 生 原子 动作 。 一 个 能 力 可 以 摘 述 
任意 数量 的 用 例 。 在 之 前 描述 在 线 商 店 的 例子 中 ， 能 力 描述 并 没有 限 
定购 物 车 中 的 商品 或 一 个 搜索 的 结果 ， 而 只 是 表达 了 用 户 可 能 会 做 的 
事情 。 这 是 有 意 的 ， 因 为 太 多 的 细 市 会 导致 长 篇 大 论 。 穷 尽 所 有 可 能 
的 搜索 和 购物 车 配置 来 完成 测试 是 不 可 能 的 。 因 此 ， 我 们 在 把 能 力 转 
换 成 测试 用 例 的 时 候 ， 只 会 重点 考察 那些 实际 使 用 的 测试 场景 。 

能 力 描述 并 不 是 测试 用 例 ， 不 会 包含 实际 测试 所 需要 的 一 切 信 
已， 例如 等 定 的 值 和 具体 的 数据 。 能 力 只 要 说 明 用 户 可 以 购物 ， 而 测 
试用 例 则 要 指定 他 们 闫 什么 和 东西。 能力 是 软件 可 以 提供 或 者 用 户 可 能 


要 求 的 动作 的 一 般 性 概念 ， 是 抽象 的 ， 测 试 和 价值 隐 含 其 中 ， 但 它们 
不 是 测试 本 身 。 

还 是 以 Google Sites 为 例 ， 图 3.5 给 出 了 一 个 以 特质 为 x 轴 ， 组 件 为 y 
轴 的 表格 。 通 过 这 种 方法 ， 能 力 被 映射 到 特质 和 组 件 上 。 首 先 ， 注 意 
大 量 的 持 元 格 是 空 的 。 这 很 正常 ， 因 为 不 古 每 个 组 件 对 每 个 特质 都 有 
影响 。 对 Chrome 来 说 ， 只 有 一 部 分 组 件 对 快速 或 安全 性 负责 ， 而 其 他 
组 件 对 这 些 特质 却 没有 影响 ， 对 应 的 单元 格 吏 态 空 。 空 单元 格 表示 我 
们 不 必 测 斌 这 个 特定 的 特质 组 件 对 。 
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Capabilities 
Capabilities are what your application actually does; they are just like features, except they are tied to a specific Attribute and Component pair. Leam mor 
Capabilities by Attribute and Component 
searchable sharing quick no technical knowledge customization rich content 
Nav bar 1 1 1 
Sitemap 1 


Settings 1 11 


1 
1 
Page view 1 3, 1 
Audit trail 1 1 

1 


Search 2 


Page view is sharing 


Accessible online to anyone (if you want) 


Share page management (crud) with someone else 
Page view not loading at all 


A 图 3.5 在 GTA 中 ， 能 力 被 关联 到 特质 和 组 件 上 
能 力 表 的 每 一 行 或 列表 示 按 菜 种 方式 相关 联 的 一 个 功能 切片 ， 十 
将 应 用 功能 分 解 为 多 个 可 测试 的 活动 的 一 个 好 办 法 。 测 试 经 理 可 以 把 
每 一 行 分 给 一 个 测试 小 组 ， 或 者 针对 一 行 或 一 列 进行 深度 的 bug 大 扫 
除 。 行 或 列 也 是 探索 式 测 试 的 极 好 目标 ， 每 个 探索 式 测 试 人 员 人 负责 不 
同 的 行 和 列 ， 束 可 以 有 效 避 免 重 村， 并 达到 更 高 的 黎 盖 度 。 


单元 格 中 的 数字 表示 该 组 件 满足 此 特质 的 能 力 的 数量 。 因 此 ， 这 
个 数 越 大 ， 该 交叉 点 需要 的 测试 点 束 越 多 。 例 如 ，Page View 组 件 有 3 个 
能 力 影 响 到 Sharing 这 个 特质 。 

协作 者 都 有 权限 访问 相关 文档 。 

与 男 外 一 个 协作 者 分 担 页 面 管理 责任 。 

查看 一 个 页 面 中 协作 者 的 位 置 。 

这 些 能 力 点 可 以 很 方便 地 指定 Page View / Sharing 这 个 组 件 /特质 对 
需要 的 测试 。 我 们 可 以 直接 为 这 些 能 力 点 编写 测试 用 例 ， 或 者 将 它们 
组 合成 更 大 的 用 例 或 测试 场景 来 测试 能 力 的 组 合 。 

书写 良好 的 能 力 需 要 一 些 训练 。 下 面 是 一 些 能 力 应 该 满足 的 特性 
以 供 参 考 。 

(1) 一 个 能 力 点 应 当 被 表达 为 一 个 动作 ， 反 映 了 用 户 使 用 被 测 应 
用 完成 一 定 的 活动 。 

(2) 一 个 能 力 点 应 当 为 测试 人 员 提 供 足 够 的 指导 ， 用 以 理解 在 编 
写 测试 用 例 时 涉及 的 变量 。 例 如 ， 使 用 http 处 理 钱 款 交 易 这 个 能 力 ， 需 
要 测试 人 员 理 解 系统 支持 何 种 类 型 的 钱 款 交易 、 如 何 验证 交易 是 通过 
http 进 行 的 。 显 然 ， 这 里 有 很 多 工作 要 做 。 如 果 某 些 钱 款 交易 有 被 遗漏 
的 可 能 (如 被 某 个 测试 新 人 ) ， 那 么 就 一 定 要 把 这 个 能 力 复制 多 份 ， 
以 便 能 明确 的 展示 各 种 交易 类 型 。 如 果 不 会 发 生 遗 漏 ， 原 来 的 抽象 程 
度 就 足够 了 。 同 样 的 ， 如 果 http 是 大 家 都 理解 的 东西 ， 那 这 个 词 无 需 额 
外 解释 。 千 万 不 要 掉 进 把 一 切 东西 都 当 作 能 力 记 录 下 来 的 陷阱 。 能 
应 当 是 抽象 的 ， 把 更 多 的 细节 留 给 测试 用 例 或 者 探索 式 测试 吧 (将 这 
些 细节 留 给 测试 人 员 ， 为 从 不 同 角度 理解 能 力 和 编写 测试 用 例 留 下 了 
自由 发 挥 的 空间 ， 这 有 助 于 提高 测试 的 覆盖 度 ) 。 

(3) 一 个 能 力 应 当 与 其 他 能 力 组 合 。 实 际 上 ， 一 个 用 户 故 事 或 用 
例 (或 你 选择 的 其 他 术语 ) 可 以 用 一 系列 能 力 来 描述 。 如 果 一 个 用 户 


故事 无 法 用 现 有 的 能 力 来 表达 ， 那 说 明 你 遗漏 了 一 些 能 力 ， 或 者 能 
描述 的 抽象 程度 太 高 了 。 

用 一 系列 能 力 来 描述 用 户 故 事 ， 这 个 中 间 步 骤 可 以 为 测试 市 来 更 
大 的 灵活 性 。 事 实 上 ， 在 Google 有 几 个 团队 ， 在 与 外 包 接 洽 或 者 组 织 
众 包 型 的 探索 式 测 试 时 ， 更 愿意 使 用 比较 一 般 性 的 用 户 故 事 ， 而 不 是 
太 细 克 的 测试 用 例 。 很 细致 的 测试 用 例 反 而 会 导致 外 包 人 员 在 一 遇 又 
一 裔 的 重复 执行 时 产生 厌倦 感 ， 而 用 户 故 事 则 为 确定 具体 行为 留 出 了 
更 大 的 余地 ， 从 而 使 得 测试 更 加 有 趣 ， 较 少 因为 枯燥 、 死 板 地 执行 导 
致 产生 错误 。 

不 管 最 终 目 标 是 用 户 故 事 、 测 试用 例 还 是 两 者 兼 有 ， 这 里 是 一 些 
从 能 力 到 测试 用 例 的 一 般 性 指南 。 记 住 这 些 只 是 目标 ， 而 非 绝 对 标 
{EE o 

每 个 能 力 都 应 该 链接 到 至 少 一 个 测试 用 例 。 如 采 能 力 有 足够 的 重 
要 性 被 记录 下 来 ， 也 应 该 有 足够 的 重要 性 被 测试 。 

很 多 能 力 需要 多 个 测试 用 例 。 每 当 输 入 、 输 入 顺序 、 系 统 变量 、 
使 用 的 数据 等 存在 变化 的 时 候 ， 就 需要 编写 多 个 测试 用 例 。“How to 
break software" — E F PEK AINE, “ExploratorSoftware Testing” 一 书 中 
提 及 的 漫游 ， 都 可 用 来 指导 测试 用 例 的 选择 或 思考 哪些 数据 和 输入 最 
有 可 能 发 现 一 个 bug 。 

并 非 所 有 的 能 力 都 是 同等 重要 的 。 流 程 的 下 一 步 (在 下 一 节 中 描 
述 ) 讨论 通过 关联 风险 来 区 分 能 力 的 重要 性 这 一 问题 。 

AccC 的 完成 ， 意 味 着 所 有 可 测试 的 特性 都 被 定义 好 了 ， 剩 下 的 只 
是 预算 和 时 间 的 问题 了 。 这 就 需要 来 排 优 先 级 一 一 在 Google， 我 们 称 
为 风险 分 析 ， 这 就 是 我 们 接 下 来 需要 讨论 的 主题 。 

示例 : 确定 Google+ 的 特质 、 组 件 和 能 

ACC 可 以 通过 文档 、 电 子 表 格 ， 甚 至 是 一 片 餐巾 纸 来 快速 完成 。 
这 里 是 一 个 简略 版 的 Google+ 的 ACC 示 例 。 


elt 


Google+ 特质 〈 仅 通过 参加 经 理 层 关于 Google+ 的 讨论 即 可 确 


Social (社交 ) : 支持 用 户 分 享 信息 和 状态 。 

Expressive (表达 ) : 用 户 可 以 通过 各 种 方式 表达 自我 。 

Easy (轻松 ) : 赁 直觉 即 可 完成 各 种 操作 。 

Relevant (相关 ) : 只 显示 用 户 关心 的 信息 。 

Extensible (可 扩展 ) : 能 够 与 Google 既 有 特性 、 第 三 方 网 站 和 应 
集成 。 

Private (隐私 ) : 不 能 泄露 用 户 数据 。 

Google+ 组 件 (通过 阅读 架构 文档 确定 ) 。 

Profile (个 人 资料 ) : 已 登录 用 户 的 个 人 信息 和 偏好 设置 。 

People (A) : 用 户 已 经 加 了 的 好 友 。 

Stream (信息 流 ) : 帖子、 评论、 通知、 照片 等 组 成 的 信息 流 。 
Circles (IF) : 将 联系 人 按照 朋友 、 同 事 等 所 作 的 分 组 。 
Notifications (通知 ) : 表示 你 在 某 篇 帖子 里 被 提 到 了 。 
Interests or +1 ( 感 兴趣 ) : 用 户 对 喜欢 的 表达 。 

Posts (帖子 : 来 自用 户 及 其 联系 人 的 文章 。 
Comments (评论 ) : 帖子 、 照 片 、 视 频 等 的 评论 。 
Photos (照片 ，: 用 户 及 其 联系 人 上 传 的 照片 。 
Google+ 能 力 。 

Profile: 

Social: 与 好 友和 联系 人 分 享 个 人 信息 和 偏好 设置 。 
Expressive: 用 户 可 以 创建 虚拟 世界 里 的 自己 。 
Expressive: 用 Google+ 表 达 你 的 个 性 。 

Easy: 很 容易 输入 和 更 新 信息 ， 并 传播 开 来 。 
Extensible: 按照 适当 的 访问 权限 传递 个 人 信息 给 有 天 应 用 。 
Private: 人 确 你 用 户 可 以 保护 目 己 的 隐私 数据 不 个 泄 露 。 


Private: 只 与 已 被 批准 的 、 适 宜 的 它 方 分 享 数据 。 
People: 

Social: 用 户 可 以 将 其 他 用 户 的 朋友 、 同 事 和 家 人 添加 为 好 友 。 
Expressive: 其 他 用 户 的 个 人 资料 是 个 性 化 的 ， 易 于 区 分 。 
Easy: 提供 方便 用 户 联系 人 管理 的 工具 。 

Relevant: 用 户 可 以 根据 一 定 的 条 件 过 滤 联 系 人 列表 。 
Extensible: 只 给 有 授权 的 服务 和 应 用 提供 联系 人 数据 。 
Private: 确保 只 有 经 过 批准 才能 看 到 用 户 的 联系 人 数据 。 
Stream: 

Social: 将 社交 网 络 的 更 新 通知 到 用 户 。 

Relevant: 可 以 过 滤 掉 用 户 不 感 兴趣 的 更 新 。 

Extensible: 将 信息 流 更 新 传 给 其 他 服务 和 应 用 。 

Circles: 

Social: 根据 社区 背景 将 联系 人 分 组 到 不 同 的 轿子。 
Expressive: 可 以 基于 用 户 背 景 创 建新 的 轿子 。 

Easy: 方便 联系 人 的 添加 、 更 狐 和 删除 。 

Easy: 方便 创建 和 修改 圈子 。 

Extensible: 将 圈子 数据 传递 给 有 关上 服务 和 应 用 。 


Notifications: 


Ke yl 


Easy: 简洁 的 显示 通知 。 

Extensible: 将 通知 传递 给 其 他 服务 和 应 用 。 
Hangouts: 

Social: 用 户 可 以 对 圈子 中 的 好 友 发 送 群 聊 邀 约 。 
Social: 用 户 可 以 将 群 聊 公开 。 

Social: 其 他 人 可 以 在 他 们 的 信息 流 中 得 到 群 聊 通 知 。 
Easy: 儿 次 简单 的 单 击 就 可 以 创建 和 参与 一 个 群 聊 。 
Easy: 一 次 点 击 就 可 以 关闭 视频 和 音频 输入 。 


Easy: 额外 的 用 户 可 以 被 加 入 进行 中 的 群 聊 。 


Expressive: 
Extensible: 
Extensible: 
Extensible: 


Extensible: 


在 加 入 群 聊 之 前 ， 用 户 可 以 预 唤 自己 的 形象 。 
用 户 在 视频 群 聊 中 可 以 通过 文本 交流 。 
YouTube 中 的 视频 可 以 放 到 群 聊 中 。 

可 以 在 Settings 中 配置 和 调整 有 天 设备 。 
没有 摄像 头 的 用 户 可 以 仅 通 过 音频 参与 。 


Private: 未 经 邀请 ， 不 能 参与 群 聊 。 
Private: 未 经 邀请 ， 不 会 收 到 群 聊 通知 。 


Posts: 


Expressive: 通过 Buzz 表 达 用 户 的 想法 。 
Private: 帖子 限制 在 希望 的 范围 内 。 


Comments: 


Expressive: 通过 评论 表达 用 户 的 想法 。 


Extensible: 


将 评论 数据 公布 给 其 他 服务 和 应 用 。 


Private: 评论 限制 在 布 望 的 范围 内 。 


Photos: 


Social: 用 户 可 以 与 联系 人 和 好 友 分 享 照片 。 
Easy: 用 户 可 以 轻松 的 完成 照片 上 传 。 
Easy: 用 户 可 以 轻松 的 从 其 他 来 源 导 入 照片 。 


Extensible: 


与 其 他 照片 服务 集成 。 


Private: 对 照片 的 查看 限制 在 布 望 的 拖 围 内 。 
图 3.6 所 示 为 电子 表格 形式 的 ACC 结 来 。 
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A 图 3.6 Google+ 的 ACC 电 子 表格 


be disabled in a single click. 
3 - Additional users can be 
added to an existing hangout, 


[] 

0 

1 - Users can easily upload 
new photos. 


2 - Users can easily import 
photos from other sources 


图 3.7 所 示 为 另外 一 种 视图 。 
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3.2.2 风险 


风险 无 处 不 在 一 -在 家 里 、 路 上 、 办 公 室 。 我 们 所 做 的 任何 一 件 
事情 都 有 风险 相伴 ， 软 件 交 付 也 不 例外 。 我 们 购买 更 安全 的 汽车 、 使 
用 防御 性 芍 驶 (defensive driving) 方法 可 以 降低 芍 驶 的 风险 。 在 单 
位 ， 我 们 在 会 议 中 小 心 说 话 ， 在 选择 项 目 时 考虑 技能 的 匹配 程度 ， 以 
便 减 少 失业 的 风险 。 ouais E ee 如 何 应 对 软件 发 生 
故障 ， 并 给 公司 声誉 带 来 难以 估量 的 伤害 这 一 极 大 可 能 事件 呢 ? HR 

没有 完美 的 软件 。 

显然 ， 不 交付 软件 不 是 一 条 可 选 之 策 。 尽 管 这 是 一 种 完全 消除 了 
故障 风险 的 方法 ， 而 且 公 司 是 从 可 以 掌控 的 风险 中 鳃 利 的 。 

注意 我 们 并 没有 说 “准确 量化 的 ”风险 。 至 少 就 我 们 的 目的 而 言 ， 
风险 没有 数学 上 的 精度 要 求 。 我 们 行走 在 人 行道 上 而 不 是 大 街中 央 ， 


并 不 是 因为 有 什么 公 陈 计算 出 59% 的 风险 降低 ， 而 只 是 凭借 一 个 冲 识 : 
对 行人 来 说 ， 大 街中 央 不 是 一 个 安全 的 地 方 。 我 们 购买 之 安全 气 旱 的 
汽车 ， 并 不 是 因为 我 们 理解 提高 事故 季 存 概率 的 数学 知识 ， 而 是 因为 
安全 气 吉 显 然 可 以 降低 脸 被 方向 盘 撞 烂 的 风险 。 无 需 太 高 的 精度 ， 风 
险 缓 解 即 可 以 发 挥 强大 的 作用 。 确 定 风险 的 过 程 称 为 风险 分 析 。 

1. 风 险 分 析 

在 软件 测试 中 ， 我 们 按照 一 个 常识 性 的 过 程 来 理解 风险 ， 下 面 是 
一 些 可 供 参 考 的 因素 。 

哪些 事件 需要 担心 ? 

这 些 事件 发 生 的 可 能 性 有 多 大 ? 

一 旦 发 生 ， 对 公司 产生 多 大 影响 ? 

一 旦 发 生 ， 对 客户 产生 多 大 影响 ? 

品 具备 什么 缓解 措施 ? 

这 些 缓解 措施 有 多 大 可 能 会 失败 ? 

处 理 这 些 失败 的 成 本 有 哪些 ? 

恢复 过 程 有 多 困难 ? 

事件 是 一 次 性 问题 ， 还 是 会 再 次 发 生 ? 

影响 风险 的 因素 很 多 ， 试 图 精确 地 、 定 量 地 计算 风险 比 缓解 风险 
还 要 麻烦 。 在 Google， 我 们 确定 了 两 个 要 素 : 失败 频率 (frequency of 
failure) 和 影响 (impact) 。 测 试 人 员 用 这 两 个 要 素 给 每 项 能 力 打分 。 
我 们 发 现 ， 风 险 实 际 上 是 一 个 定性 的 相对 值 ， 而 非 一 个 定量 的 绝对 
值 。 风 险 分 析 的 目标 不 是 要 给 出 一 个 精确 的 值 ， 而 是 要 识别 一 个 能 力 
与 男 一 个 相 比 风险 是 大 是 小 。 这 对 于 决定 以 何 种 顺序 测试 哪些 能 力 足 
T ° GTA 提供 了 这 一 选项 ， 如 图 3.8 所 示 。 
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A 213.8 GTIA 中 对 Google+ 依 照 失败 频率 和 影响 所 做 的 风险 估计 

GTA 中 的 风险 发 生 频 率 有 4 个 预定 义 值 。 

罕见 (rarely) : 发 生 故 障 的 可 能 性 很 小 ， 发 生 问题 后 的 恢复 也 很 
容易 。 

示例 : Chrome 的 下 载 页 面 (http://www.google.com/chrome) 。 绝 
大 部 分 内 容 是 静态 的 ， 可 以 自动 检测 客户 端 0S9。 即 使 页 面 的 核心 
HTML 或 脚本 发 生 了 裔 涡 ， 也 很 容易 通过 监视 代码 发 现 。 

少见 (seldom) : 在 少数 情况 下 会 发 生 故 障 ， 但 是 在 使 用 场景 复 
杂 度 不 高 的 情况 下 或 使 用 率 较 低 的 情况 下 ， 发 生 的 可 能 性 非常 小 。 

示例 : Chrome 的 Forward 按 钮 。 这 个 按钮 使 用 的 频率 远 小 于 Back 按 
钮 。 从 历史 记录 看 ， 它 很 少 出 问题 ， 即 使 发 生 了 ， 我 们 也 可 以 指望 早 
期 发 布 通道 上 的 早期 用 户 会 很 快 的 注意 到 ， 因 为 这 会 是 相当 明显 的 。 

偶尔 (occasionally) : 故障 的 情形 容易 想象 、 场 景 有 点 复杂 ， 而 
该 能 力 是 比较 常用 的 。 


示例 : Chrome 的 Sync 功能 。Chrome 会 在 不 同 客 户 端 之 间 同 步 书 
等 、 主 题 、 表 单 填写 、 历 史 和 其 他 用 户 资 料 数据 ， 涉 及 不 同 的 数据 类 
型 及 多 个 OS 平台 ， 而 且 变更 合并 (merging changes) 是 一 个 多 少 有 些 
复杂 的 计算 机 科学 问题 。 用 户 也 会 注意 到 数据 是 否 同步 成 功 。 同 步 只 
会 在 数据 变化 时 发 生 ， 例 如 当 加 入 一 个 新 书签 时 。 

常见 (often) : 此 能 力 所 属 的 特性 使 用 量 大 、 复 杂 度 高 、 问 题 频 
发 o 

示例 : Web 页 面 的 泻 染 。 这 是 浏览 絮 的 最 主要 用 例 。 泻 染 各 种 来 
源 和 质量 的 HTML、CSS 和 JavaScript 代 码 是 浏览 器 的 基本 任务 。 这 些 代 
码 的 问题 会 被 用 户 归 咎 到 浏览 器 。 对 一 个 高 流量 的 网 站 来 说 ， 发 生 问 
题 的 风险 更 大 。 洽 染 问题 未 必 总 能 被 用 户 发 现 。 它 们 经 常 导 致 页 面 元 
素 不 能 完全 对 齐 但 不 会 影响 功能 的 正常 使 用 ， 或 者 元 素 没 有 显示 出 来 
但 用 户 可 能 不 会 注意 到 。 

测试 人 员 确 定 每 个 能 力 的 故障 发 生 频 率 。 我 们 有 意 使 用 偶数 值 ， 
以 人 锡 测 试 人 员 偷 懒 使 用 中 间 值 。 在 输入 时 应 该 认真 的 想 一 想 。 

估计 风险 影响 的 方法 大 至 相同 ， 也 是 从 几 种 偶数 取 值 中 选择 一 个 

(更 多 来 自 Chrome 浏 览 器 的 例子 ) 。 

最 小 (minimal) : 用 户 甚 至 不 会 注意 到 的 问题 。 

示例 : Chrome 实验 室 是 一 个 可 选 功能 ， 不 能 加 载 “chrome://labs” 页 
面 只 影 啊 到 极 少 的 用 户 。 因 为 该 页 面包 舍 可 选 的 Chrome 实验 特性 ， 大 
多 数 用 户 甚 至 不 知道 它们 的 存在 。 这 些 特 性 本 身 也 注 明 了 “ 目 担 风 
险 ”， 不 会 危及 核心 浏览 器 。 

一 些 (some) : 可 能 会 打扰 到 用 户 的 问题 。 一 旦 发 生 ， 重 试 或 恢 
复 机 制 即 可 解决 问题 。 

示例 : refresh 按钮 。 如 果 当 前 页 面 刷 新 失败 ， 用 户 束 可 以 在 原来 
的 标签 页 里 重新 输入 URL ， 或 者 在 一 个 新 的 标签 页 里 打开 ， 甚 至 在 极 
端 情形 下 重启 浏览 器 。 故 障 的 代价 很 低 ， 用 户 只 是 稍 感 烦 扰 。 


较 大 (considerable) : 故障 导致 使 用 受阻 。 

示例 : Chrome 扩 展 。 如 果 用 户 安装 了 Chrome 扩 展 来 增加 功能 ， 而 
这 些 扩展 在 新 的 Chrome 版 本 中 加 载 失 败 ， 那 么 它们 的 功能 也 就 丢失 
T 

最 大 (maximal) : 发 生 的 故障 会 永久 性 的 损害 产品 的 声誉 ， 并 导 
致 用 户 不 再 使 用 它 。 

示例 :Chrome 的 目 动 更 新 机 制 。 该 特性 一 旦 失败 ， 就 会 导致 关键 
性 的 安全 升级 无 法 进行 ， 甚 至 使 整个 浏览 器 停止 工作 。 

有 时 间 题 对 公司 和 用 户 产生 的 影响 是 不 一 致 的 。 人 例如， 公司 标 志 
加 载 失 败 对 于 Google 是 一 个 问题 ， 但 却 未 必 会 被 用 户 注意 到 。 在 打分 
的 时 候 注 意 一 下 所 考虑 的 风险 是 针对 公司 的 还 是 用 户 的 ， 是 非常 有 用 
Hy ° 

对 Google Sites， 基 于 测试 人 员 的 输入 以 及 之 前 给 出 的 特质 一 组 件 
表 ， 我 们 可 以 生成 一 个 风险 区 域 的 热 图 ， 如 图 3.9 所 示 。 

表 中 的 单元 格 以 红色 、 黄 色 或 绿色 高 亮 显 示 ， 分 别 表 示 相 应 组 件 
在 各 交叉 点 的 风险 级 别 。 风 险 级 别 是 你 已 经 输入 的 值 的 一 个 简单 计算 
每 个 能 力 的 风险 的 简单 平均 。GTA 自动 生成 了 这 个 热 图 ， 但 电子 
表格 也 可 以 做 到 。 

此 图 代表 了 该 产品 可 测试 的 能 力 及 其 风险 ， 这 些 数字 难免 有 一 些 
偏见 ， 因 为 它们 只 代表 了 测试 人 员 的 理解 。 我 们 还 应 该 努力 听取 其 他 
相关 人 员 的 意见 。 下 面 是 一 个 相关 人 员 的 列表 以 及 邀请 他 们 一 起 来 佑 
计 风 险 的 一 些 建议 。 

开发 人 员 : 大 多 数 开 发 人 员 在 被 征求 意见 的 时 候 ， 都 会 给 自己 负 
责 的 特性 选择 最 大 的 风险 ， 因 为 他 们 希望 目 己 写 的 代码 得 到 充分 的 测 
试 。 经 验 表 明 ， 开 发 人 员 对 自己 负责 的 特性 的 风险 估计 过 高 。 
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A 图 3.9 Google+ 早 期 版 本 的 特质 一 组 件 表 的 一 个 风险 热 图 


项 目 经 理 : PM 也 是 常人 ， 也 会 有 自己 的 偏见 。 在 对 能 力 点 重要 性 
的 评判 上 ， 他 们 当然 有 目 己 的 仿 好 。 通 肖 来 说 ， 他 们 喜欢 那些 使 得 软 
件 能 从 苋 搜 产品 中 脱 闪 而 出 引信 注 目的 特性 。 

销售 人 员 : 销售 岗位 本 来 就 是 要 吸引 用 户 的 ， 因 此 他 们 会 对 那些 
有 卖点 、 演 示 起 来 很 拉 风 的 特性 更 感 兴趣 。 

总 监 和 VP: 管理 层 经 常会 更 加 注意 那些 使 软件 有 别 于 主要 竞争 对 
F mIRE > 

显然 ， 所 有 利益 相关 人 员 都 有 明显 的 俩 好 ， 因 此 我 们 的 办 法 吏 旦 
征求 所 有 人 的 意见 ， 请 大 家 各 自给 前 面 所 述 的 两 项 指标 打分 。 并 不 总 
征 轻 而 易 举 地 束 能 吸引 大 家 的 参与 ， 不 过 我 们 发 现 了 一 个 成 功 的 富 
略 。 我 们 并 不 需要 跟 他 们 解释 这 个 流程 然后 说 服 他 们 来 帮忙 ， 只 要 目 
己 完 成 然后 把 热 独 展示 给 他 们 融 行 了 。 一 旦 他 们 发 现 其 中 的 偶 索 ， 目 
然 束 会 提出 上 自己 的 意见 。 开 发 人 员 知 道 这 个 热 图 会 被 用 来 决定 测试 的 


优先 级 ， 因 此 参与 度 很 高 ; 项 目 经 理 和 销售 人 员 也 是 一 样 ， 质 量 对 大 
家 都 很 重要 。 

这 个 方法 很 给 力 。 我 们 目 己 确定 风险 所 得 到 的 结论 ， 毫 无 疑问 会 
被 质疑 。 在 将 风险 分 析 结 果 作 为 随后 测试 的 依据 展示 给 大 家 的 时 候 ， 
我 们 实际 上 是 树 了 一 个 靶子 供 大 家 争论 。 这 就 是 重点 : 与 其 询问 他 们 
关于 某 个 模糊 概念 的 看 法 ， 不 如 拿 一 个 明确 的 结论 来 引起 辩论 。 通 和 常 
来 说 ， 都 是 排除 容易 下 定义 难 。 除 此 之 外 ， 我 们 还 会 避免 让 每 一 个 人 
都 去 查看 他 们 其 实 不 感 兴趣 或 不 理解 的 数据 。 这 个 小 策略 使 得 我 们 通 
常 能 得 到 大 量 有 效 的 输入 纳入 风险 计算 。 

一 旦 风险 估计 为 大 家 所 认同 ， 接 下 来 就 是 风险 缓解 了 。 

2. 风 险 缓 解 (Risk Mitigation) 

风险 不 大 可 能 彻底 消除 。 要 驶 有 风险 ， 但 我 们 仍然 会 开车 出 行 ; 
旅游 有 风险 ， 但 我 们 并 没有 停止 旅游 。 通 常情 况 下 ， 风 险 并 没有 真 的 
TRGE TANT 因为 我 们 会 以 实际 行动 缓解 风险 。 例 如 ， 我 们 
会 避免 在 一 天 的 某 个 时 间 敬 车 出 行 ， 避 侈 到 一 些 地 方 旅行 。 这 就 十 绥 
解 。 

歼 软 件 而 言 ， 一 种 极端 的 缓解 办 法 是 去 掉 风 险 最 大 的 组 件 : 交付 
的 软件 越 少 ， 风 险 越 小 。 但 是 ， 除 了 彻 的 的 风险 消除 ， 还 有 很 多 措施 
可 以 缓解 风险 。 

我 们 可 以 围绕 风险 大 的 能 力 点 编写 用 户 故 事 ， 并 从 中 确定 低 风 险 
的 使 用 场景 ， 然 后 反馈 到 开发 团队 ， 请 他 们 有 针对 性 地 增加 约束 。 

我 们 可 以 编写 回归 测试 用 例 ， 以 确保 问题 在 重 现时 可 以 被 捕 近 
到 。 

我 们 可 以 编写 和 运行 引发 故障 的 测试 用 例 ， 来 推动 开发 实现 恢复 
和 回 深 的 特性 。 

我 们 可 以 插入 监听 代码 (instrumentation and watchdog code) , DA 
便 更 早 地 检测 到 故障 。 


我 们 可 以 插入 代码 监听 软件 ， 发 现 新 旧版 本 间 的 行为 变化 以 发 现 
回归 问题 。 

具体 的 缓解 措 施 很 大 程度 上 取决 于 应 用 本 身 以 及 用 户 对 于 安全 性 
的 期 望 。 测 试 人 员 可 能 会 参与 到 实际 的 缓解 过 程 ， 但 更 主要 的 工作 是 
雄 露 风险 。 那 些 标 记 为 红色 的 能 力 点 比 黄色 和 绿色 要 优先 处 理 ， 按 照 
风险 顺序 进行 测试 。 原 则 是 :如 采 不 能 全 测 ， 整 先 测 最 重要 的 ， 也 整 
是 风险 最 大 的 。 

按照 项 目 类 型 给 出 产品 是 否 可 以 发 布 的 建议 。 这 是 测试 人 员 的 责 
任 ， 他 可 以 充分 利用 风险 热 图 来 完成 这 件 事 。 如 有 果 是 Google Labs 
Experiment， 即 使 有 一 些 红色 的 区 域 ， 只 要 不 危及 隐私 或 安全 ， 也 是 可 
以 发 布 的 。 如 果 是 Gmail 的 一 次 主要 发 布 ， 甚 至 黄色 区 域 都 是 不 可 接受 
的 。 这 种 凑 色 标识 人 简单 易 懂 ， 即 便 是 测试 总 监 也 能 理解 。 

对 风险 的 担心 随 厦 时 间 的 流逝 逐渐 减少 ， 大 量 成 功 的 测试 标志 着 
风险 处 于 可 接受 的 级 别 。 这 也 解释 了 为 什么 我 们 要 把 测试 用 例 天 联 到 
各 个 能 力 点 以 及 风险 表 中 的 特质 和 组 件 ， 因 为 这 事 关 重大 。 事 实 上 ， 
ACC 完 美 地 切合 此 需求 ， 这 就 是 我 们 的 设计 初衷 。 


James Whittaker 的 10 分 钟 测试 计划 


在 软件 开发 中 ， 任 何 一 种 可 以 在 10 分 钟 之 内 完成 的 事情 都 是 微 不 
足 道 的 ， 或 是 本 来 束 不 值得 做 的 。 照 此 经 验 法 则 ， 测 试 计划 是 怎样 的 
We? 当然 ,测试 计划 花 的 时 间 超 过 10 分 钟 。 在 我 作为 Google 测 试 总 监 
期 间 ， 我 的 团队 编写 了 大 量 的 测试 计划 ， 每 次 当 我 问 到 需要 多 长 时 间 
完成 的 时 候 ， 利 帝 会 得 到 的 回答 是 “明天 ”`“ 周 末 前 等， 有 几 次 我 得 到 
的 承 诸 是 “到 今天 结束 的 时 候 ”。 因此， 在 我 的 脑海 里 ， 测 试 计划 这 个 
任务 的 时 间 是 以 小 时 到 天 为 单位 来 计算 的 。 

至 于 测试 计划 是 否 值 得 ， 这 束 是 男 外 一 码 事 了 。 我 看 到 的 很 多 测 
试 计划 都 已 经 名 存 实 亡 了 一 一 当 项 目 朝 着 计划 之 外 的 方向 进行 的 时 
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来 了 一 个 问题 : 如 果 一 个 计划 不 值得 费心 去 更 新 ， 那 么 当初 创建 它 又 
有 何 意义 ? 

还 有 一 些 情 况 ， 计 划 因 为 太 详 细 或 太 倘 略 而 被 丢弃 ， 或 者 是 因为 
它 仅 在 测试 开始 时 有 用 。 这 再 一 次 提出 了 那个 问题 : RAMI, ABA 
如 此 有 限 和 迅速 递减 的 价值 能 抵消 当初 创建 计划 的 成 本 吗 ? 

一 些 测试 计划 摘 述 了 本 来 不 必 记 录 的 丛 单 事实 ， 或 者 给 测试 人 员 
提供 了 日 常 工 作 并 不 需要 的 细 和 。 在 所 有 这 些 情形 下 ， 我 们 就 是 在 少 
费时 间 。 还 是 让 我 们 面 对 现 实 吧 ， 那 孢 是 测试 计划 的 流程 和 内 容 有 问 
题 o 

为 了 解决 这 个 问题 ， 我 交 给 团队 一 个 帘 单 任务 : 用 10 分 钟 编写 一 
个 测 斌 计划。 想法 很 简单 : 如 果 测 试 计划 真 的 有 价值 ， 那 束 让 我 们 尽 
快 地 感受 到 。 

限定 10 分 钟 ， 显 然 束 没有 了 哆 喧 的 空间 了 了。 时 间 如 此 之 短 以 至 于 每 
一 秒 都 要 用 来 做 有 用 的 事情 ， 否 则 就 没有 项 望 完成 这 个 任务 了 了。 这 整 
是 我 设计 这 项 活动 的 全 部 意图 : 给 测试 计划 瘦身 ， 去 挥 见 余 ， 只 留 下 
精 藤 。 只 列 出 绝对 必要 的 东西 ， 把 细 厄 留 给 测试 执行 者 而 不 是 测试 计 
划 者 。 假 定 我 的 目标 是 停止 编写 经 受 不 住 时 间 考 验 的 测试 计划 ， 这 似 
平 也 是 有 价值 的 。 

然而 ， 在 实验 过 程 中 ， 上 壕 想 法 我 丝 蝶 没有 透露 。 我 只 是 告诉 大 
家 : 这 是 一 个 应 用 ， 请 在 10 分 钟 以 内 针对 它 搞定 一 份 测试 计划 。 记 住 
这 些 人 是 我 的 下 属 ， 理 应 服从 我 的 安排 。 技 术 上 来 讲 ， 我 的 位 置 使 我 
有 权 决 定 他 们 是 否 还 能 在 Google 干 下 去 。 男 外 ， 我 假定 他 们 对 我 还 是 
比较 尊敬 的 ， 这 意味 着 ,他们 会 感到 我 真 的 认为 他 们 能 完成 任务 而 不 
是 故意 刁难 他 们 。 

作为 准备 ， 他 们 可 以 花 一 些 时 间 熟 悉 这 个 应 用 。 然 而 ， 许 多 应 用 

(Google Docs,App Engine,Talk Video) 都 是 大 家 每 周 都 在 用 的 工 


具 ， 所 以 这 个 熟悉 时 间 很 短 。 

每 一 次 ， 这 些 团队 都 会 使 用 类 似 ACC 的 方法 。 他 们 会 选择 速记 列 
表 、 创 建 表格 ， 而 不 是 写 大 上 段 的 文字 。 他 们 在 格式 化 及 解释 上 浪费 的 
时 间 很 少 ， 而 只 是 记录 下 能 力 点 。 事 实 上 ， 如 本 书 所 述 的 能 力 点 是 所 
有 计划 的 共同 元 素 ， 是 所 有 团队 到 头 来 可 以 选择 的 最 能 有 效 利用 这 短 
短 10 分 钟 的 方法 。 

没有 一 个 团队 能 在 给 定 的 10 分 钟 内 完成 实验 。 然 而 ， 在 10 分 钟 的 
时 间 里 ， 他 们 都 能 够 列 出 特质 和 组 件 (或 帮助 达到 类 似 目 标的 东 
Pa) ， 并 开始 描述 能 力 。 再 一 个 20 分 钟 之 后 ， 大 多 数 的 实验 团队 都 可 
以 产生 一 个 足够 大 的 能 力 集合 一 一 创建 用 户 故 事 或 测试 用 例 的 良好 起 
ro 

至 少 对 我 来 说 ， 实 验 获 得 了 成 功 。 我 给 他 们 10 分 钟 ， 其 实 估计 要 
等 一 个 小 时 。 他 们 在 30 分 钟 的 时 间 里 完成 了 80% 的 工作 。 这 还 不 够 快 
吗 ? 根据 我 们 的 测试 经 验 ， 大 家 十 分 清楚 在 测试 过 程 中 不 大 可 能 完成 
所 有 测试 吕 ， 既 然 如 此 ， 为 什么 要 求 在 测试 计划 中 面面俱到 呢 ? 我 们 
十 分 清楚 在 测试 真正 开始 以 后 ， 项 目 日 程 、 需 求 、 架 构 等 都 会 发 生变 
化 ， 既 然 如 此 ， 执 著 于 计划 的 精准 ， 而 无 视 注 定 的 变化 ， 这 无 疑 是 严 
重 脱 离 现 实 的 。 

30 分 钟 左 右 ，80% 的 完整 性 ， 这 就 是 我 所 说 的 10 分 钟 测试 计划 。 

3. 关 于 风险 最 后 的 话 

Google Test Analytics 文 持 上 述 基于 分 类 赋值 (非常 罕见 、 很 少 、 
偶尔 、 经 常 ) 的 风险 分 析 。 我 们 特别 不 想 做 的 是 把 风险 分 析 搞 成 一 件 
复杂 的 工作 ， 那 样 的 话 就 不 会 有 人 用 了 。 我 们 也 不 特别 关心 实际 的 数 
字 和 计算 过 程 ， 因 为 一 个 孤立 的 数字 意义 很 小 。 很 多 时 候 只 要 知道 一 
个 比 男 一 个 风险 更 大 就 足够 了 。 风 险 是 天 于 选择 的 ， 选 择 这 个 而 不 是 
那个 是 因为 它 测 试 了 一 个 风险 更 大 的 功能 。 知 道 A 比 B 风 险 更 大 束 足 够 
了 ， 不 需要 过 分 关心 它们 的 具体 风险 值 。 知 道 一 个 特性 比 另 一 个 特性 


的 风险 更 大 ， 可 以 帮助 测试 经 理 更 好 的 分 配 测 试 人 员 到 各 个 特性 上 。 
在 组 织 级 别 ， 这 可 以 帮助 Patrick Copeland 这 样 的 管理 者 决定 每 个 产品 
团队 分 配 多 少 测试 人 员 。 理 解 风险 在 组 织 的 各 个 层次 都 有 价值 。 

风险 分 析 是 一 个 独立 的 领域 ， 在 许多 其 他 行业 里 被 严肃 地 对 待 。 
我 们 现在 采用 的 是 一 个 轻 量 级 的 版 本 ， 但 仍然 对 任何 可 以 改进 我 们 测 
斌 方法 的 研究 保持 关注 。 若 希望 了 解 更 多 风险 分 析 的 知识 ， 我 们 建议 
你 在 Wikipedia 上 搜索 Risk Management Methodology (风险 管理 方 
法 ) ， 这 可 以 作为 进一步 学 习 这 一 重要 课题 的 起 点 。 

GTA 帮 助 我 们 识别 风险 ， 测 试 帮助 我 们 缓解 风险 ，TE 则 是 缓解 活 
动 的 协调 人 。TE 可 能 会 决定 对 风险 较 大 的 领域 进行 内 部 测试 ， 要 求 
SWE 和 SET 增加 回归 测试 。TE 会 安排 的 其 他 事情 ， 包 括 执行 手工 的 或 
探索 式 的 测试 ， 借 助 dogfood 用 户 、beta 用 户 以 及 众 包 进行 测试 等 。 

TE 有 有 员 任 理解 所 有 的 风险 点 ， 并 使 用 他 或 她 可 以 利用 的 任何 手段 
TUBE ° 

下 面 是 一 些 有 用 的 指南 。 

(1) 对 于 任何 在 GTA 和 矩阵 中 显示 为 红色 的 高 风险 的 能 力 点 和 特质 
一 组 件 对 ， 一定 要 编写 一 系列 用 户 故 事 、 用 例 或 者 有 和 针对 性 的 测试 指 
导 。Google TE 对 风险 最 高 的 领域 负 有 个 人 责任 ， 即 使 他 们 可 以 协调 其 
他 TE、 使 用 各 种 工具 ， 最 终 的 责任 仍然 是 他 们 自己 的 。 

(2) 认真 了 解 之 前 已 经 完成 的 面向 SET 和 SWE 的 测试 ， 评 估 这 些 
测试 对 GTA 所 暴露 的 风险 级 别 的 影响 。 这 些 测试 是 否 足够 了 ? 还 需要 
增加 额外 的 测试 吗 ? TE 需 要 目 己 编写 一 些 测试 用 例 ， 还 是 需要 请 SET 
或 SWE 来 编写 。 重 点 不 在 于 谁 来 写 ， 而 在 于 有 人 写 。 

(3) 分 析 每 个 高 风险 的 特质 一 能 力 对 相关 的 pug， 保 证 回归 测试 
用 例 存 在 。bug 倾 向 于 在 代码 发 生变 更 时 重 现 。 高 风险 组 件 的 每 个 bug 
都 应 该 有 一 个 回归 测试 用 例 与 之 对 应 。 


(4) 仔细 思索 高 风险 的 区 域 ， 咨 询 可 能 的 回 深 和 恢复 机 制 。 通 过 
设想 最 坏 情 况 并 与 其 他 工程 师 讨 论 ， 发 现 所 有 可 能 对 用 户 产 生 影 响 的 
问题 。 实 验 并 确定 这 些 场景 成 为 现实 的 可 能 性 。 经 常 高 呼 狼 来 了 的 
TE， 其 可 信 度 也 会 下 降 。 所 以 ， 减 少 过 分 反应 和 大 惊 小 怪 是 很 重要 
的 ， 除 非 问题 涉及 那些 真实 存在 的 、 现 有 测试 尚未 缓解 的 高 风险 场 
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(5) 引入 尽 可 能 多 的 相关 各 方 。dogfood 用 户 经 常 是 内 部 的 ， 在 独 
目 使 用 系统 的 情况 下 他 们 只 能 提供 很 少 的 反馈 。 因 此 ， 要 主动 协助 
dogfood 用 户 ， 例 如 请 他 们 执行 特定 的 实验 和 场景 ， 问 他 们 一 些 问 题 : 
“这 在 你 的 机 大 上 运行 得 怎么 样 ”\“ 你 会 皇 样 使 用 这 样 的 特性 ?等 。 
Google 的 dogfood 用 户 数量 众多 ，TE 应 该 学 会 非常 主动 地 利用 这 一 资 
源 ， 而 不 是 偶尔 为 之 。 

(6) 如 果 以 上 措施 皆 不 奏效 ， 某 个 高 风险 的 组 件 仍然 处 于 测试 不 
足 的 状态 ， 经 常 出 问题 ， 那 就 得 非常 努力 地 去 游说 相关 同事 。 这 正 是 
一 个 把 风险 分 析 的 概念 解释 给 项 目 成 员 、 体 现 TE 价 值 的 机 会 。 


Jason Arbon 的 用 户 故 事 


用 户 故 事 描述 了 真实 用 户 或 期 望 用 户 使 用 被 测 应 用 的 行为 ， 描 述 
了 用 户 的 动机 和 视角 ， 而 有 和 意 忽略 产品 的 实现 和 设计 细节 。 用 户 故 事 
中 可 能 会 所 及 能 力 点 ， 但 也 只 是 一 市 而 过 ， 因 为 它们 的 关注 点 是 用 户 
行为 。 用 户 有 一 个 需要 ， 而 故事 通常 描述 了 该 用 户 如 何 使 用 软件 来 满 
足 需要 。 一 个 故事 通常 是 一 般 性 的 ， 没 有 详细 的 步骤 ， 没 有 硬 编 码 的 
输入 ， 它 只 是 表达 了 完成 某 种 实际 工作 的 需要 ， 以 及 使 用 被 测 应 用 展 
开 该 工作 的 一 般 性 方法 。 

在 编写 用 户 故 事 的 时 候 ， 我 们 仅 从 用 户 界 面 角度 出 发 关注 产品 ， 
而 绝 不 应 该 描述 技术 性 内 容 。 这 种 一 般 性 使 得 测试 人 员 能 够 在 每 一 轮 
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的 用 户 在 完成 同样 的 任务 时 会 经 历 的 。 这 就 是 关键 。 

用 户 故 事 的 焦点 在 于 对 用 户 的 价值 ， 而 测试 用 例 则 要 比 用 户 故 事 
更 加 有 具体， 测试 用 例 通 沼 指定 了 具体 的 输入 和 输出 。 用 户 故 事 应 该 在 
必要 时 使 用 全 新 的 用 户 账号 ， 在 Google， 我 们 经 常 创建 任意 数量 的 测 
斌 账号， 这 些 账 号 代表 了 用 己 故 事 中 甩 摘 述 的 用 尸 。 同 时 ， 也 会 使 用 
许多 旧账 号 ， 这 些 账号 中 包含 不 少 历史 信息 。 在 Google Documents 及 与 
其 类 似 的 项 目 中 ， 当 把 老 用 户 在 旧版 本 中 创建 的 文档 导入 到 新 版 本 
二， 发 现 了 不 少 非常 有 趣 的 bug。 

如 果 可 能 的 话 ， 我 们 还 会 尝试 更 换 不 同 的 测试 人 员 来 执行 这 些 场 
景 ， 尽 可 能 地 增加 不 确定 性 和 视角 。 

对 于 风险 较 低 的 能 力 点 ， 可 以 降低 些 要 求 。 我 们 可 能 会 做 出 判 
Br: 为 较 低 风险 的 领域 编写 特定 的 测试 用 例 是 得 不 偿 失 的 。 我 们 可 能 
会 选择 进行 探索 式 测试 ， 或 者 使 用 众 包 去 测试 这 些 领 域 。“ 漫 游 ” 这 个 
概念 作为 探索 式 测 试 (漫游 的 详细 介绍 见 James 
A.Whittaker,ExploratorSoftware Testing: Tips,Tricks,Tours,and Techniques 
to Guide Test Design (Addison Wesley,2009).) 的 指南 ， 经 常 被 用 以 指导 
众 包 测试 人 员 的 工作 。“ 对 这 些 能 力 点 做 一 下 Fed Ex 漫游 测试 "党 弟 要 比 
人 简单 地 扔 给 他 们 一 个 应 用 然后 乐 见 其 成 的 效果 要 好 得 多 。 我 们 马上 整 
能 识别 出 希望 测试 的 特性 ， 然 后 指导 他 们 如 何 展开 测试 。 


LEJ 


James Whittaker: 众 包 


众 包 是 测试 领域 的 一 个 新 现象 ， 它 的 产生 基于 以 下 事实 : 测试 人 
员 在 数量 上 很 少 ， 而 且 拥 有 的 资源 也 很 有 限 ; 但 用 户 则 为 数 众多 ， 而 
且 拥 有 每 一 种 我 们 希望 用 来 测试 应 用 的 硬件 和 环境 组 合 。 当 然 会 有 一 
部 分 用 户 愿意 帮忙 ， 对 不 对 ? 


来 看 看 群众 的 力量 : 一 部 分 对 测试 懂行 的 高 级 用 户 ， 愿 意 来 帮忙 
并 拿 到 合理 的 报酬 。 他 们 只 需要 能 访问 预 发 环境 并 运行 被 测 应 用 即 
可 ， 然 后 通过 某 种 机 制 提供 反馈 和 bug 报 告 。 类 似 Chromium 这 样 的 开源 
项 目 ， 很 适合 大 从 测试 ， 而 那些 更 敏感 和 保密 的 、 只 能 在 内 网 访问 的 
项 目 惑 麻烦 一 些 ， 必 须 交 给 可 信 的 测试 人 员 。 

大 从 用户 除了 可 以 带 来 大 量 的 硬件 和 配置 ， 还 能 提供 多 种 不 同 的 
视角 。 以 前 是 一 个 测试 人 员 想 象 1000 个 用 户 的 使 用 场景 ， 现 在 是 1000 
个 真实 用 户 在 做 测试 的 工作 。 在 发 现 导 致 应 用 出 错 的 用 户 场 景 方面 ， 
还 有 比 邀 请 用 户 注册 来 试用 并 提供 反馈 更 好 的 方法 吗 ? 关键 在 于 变化 
性 和 规模 ， 大 从 用 户 两 者 兼备 。 

今天 ， 愿 意 做 软件 测试 的 人 群 数量 很 大 ， 而 且 7x24 小 时 可 用 。 假 
定 我 们 想 在 新 发 布 的 Chrome 里 测试 1000 个 著名 网 站 ，1 个 测试 人 员 
=1000 次 测试 ，20 个 测试 人 员 =50 次 测试 。 这 就 是 人 民 群 众 的 力量 。 

大 众 测试 员 的 主要 弱点 是 需要 一 定 的 时 间 来 学 习 被 测 应 用 ， 并 跟 
上 其 更 新 的 步伐 。 考 虑 到 大 众 测 试 员 的 数量 ， 这 意味 着 惊人 的 浪费 。 
然而 ， 这 仍然 是 可 以 管理 的 。 对 Chrome, Rili S FP m Se oe 

(tours) ， 以 供 大 众 测试 员 参 考 来 开展 探索 式 测试 和 运行 用 户 场景 

( 见 附 件 B: Chrome 测试 导 览 ) 。 这 些 导 览 使 测试 工作 变 得 更 加 明 
确 ， 可 以 直接 将 用 户 引导 到 应 用 的 特定 部 分 。 为 了 合理 分 工 ， 可 以 编 
写 多 个 导 贤 指南 ， 分 发 给 不 同 的 大 众 用 户 。 
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个 扩展 ， 是 我 们 与 早期 用 户 联 系 的 一 种 方式 。 这 些 用 户 可 以 在 早期 就 
发 现 和 报告 bug。 在 Google， 项 望 试用 产品 的 内 部 测试 人 员 、 在 各 个 产 
品 组 之 间 按 需 流动 的 外 包 员 工 ， 以 及 商业 性 的 众 包 公司 如 uTest.com, 
他 们 都 曾经 参与 过 Google 广 品 的 测试 。 我 们 还 巧 赏 奖励 最 佳 bug 发 现 
者 ( Chrome 的 bug 换 奖 人 金 活动 网 址 是 


http://blog.chromium.org/2010/01/encouraging-more-chromium- 
security.html) 。 

AcC 的 真正 威力 在 于 它 能 用 来 确定 一 系列 的 能 力 点 ， 按 风险 排 
序 ， 然 后 分 配给 所 有 的 质量 伙伴 。 参 与 项 目的 TE 可 能 会 被 分 配 到 不 同 
的 能 力 点 ，dogfood 用 户 、20% 页 献 者 、 外 包 测 试 人 员 、 众 包 测 试 人 
员 、SWE、SET 等 也 可 以 各 负责 一 个 能 力 子 集 。 这 样 ， 束 能 在 你 证 重 
要 区 域 履 盖 度 的 同时 叉 减 少 重复 测试 ， 比 简单 地 把 应 用 扔 出 去 一 哄 而 
EERE o 

与 SET 不 同 ，TE 的 工作 在 软件 交付 之 后 也 不 会 停止 。 
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例 。Google 的 TE 为 一 个 应 用 编写 大 量 的 测试 用 例 ， 有 些 测试 用 例 精确 
地 描述 了 对 输入 和 数据 ， 也 有 些 测试 用 例 中 的 描述 是 笼统 的 。 代 码 和 
目 动 化 测试 都 由 公共 平台 管理 ， 而 测试 用 例 的 管理 则 仍 由 各 个 团队 目 
主 选 择 ， 但 是 一 种 新 工具 的 出 现 正在 改变 这 种 情况 。 

电子 表格 和 文本 文档 一 直 是 保存 测试 用 例 的 利用 工具 。 践 行 快速 
特性 开发 和 快速 交付 周期 的 团队 并 不 打算 长 期 保留 测试 用 例 ， 因 为 新 
特性 经 常会 使 原来 的 测试 脚本 失效 。 这 时 ， 所 有 测试 用 例 束 必须 重 
写 。 在 这 种 情况 下 ， 文 档 或 其 他 格式 一 样 可 以 用 来 共享 测试 用 例 ， 然 
后 被 价 单 地 丢弃 。 文 档 还 适合 于 摘 述 一 次 测试 的 上 下 文 。 这 些 测试 形 
式 比较 自由 ， 更 多 是 关于 被 测 特性 的 一 般 性 建议 。 

当然 ， 一 些 团队 用 类 心 制作 的 电子 才 格 来 存储 测试 步 又 和 数据 ， 
甚至 还 会 用 来 记录 ACC 表 ， 因 为 这 比 使 用 GTA 更 灵活 。 但 这 需要 一 定 
的 规范 性 以 及 TE 团队 人 员 的 稳定 性 ， 因 为 一 个 TE 偏好 的 形式 可 能 是 男 


一 个 TE 所 不 习惯 的 。 大 幅度 的 人 员 流 动 要 求 一 种 更 加 结构 化 的 方式 ， 
不 会 受 团队 个 别 成 员 离 开 的 影响 。 

电子 表格 优 于 文档 。 通 过 表 列 这 种 结构 ， 可 以 方便 的 文 持 过 程 、 
数据 以 及 pass 或 fail 标 签 等 的 记录 ， 也 易于 定制 。Google Sites 和 其 他 
类 型 的 在 线 wikis 常 被 用 于 展示 测试 信息 给 其 他 的 有 天 人 员 ， 易 于 多 人 
共享 和 编辑 。 

随 着 Google 的 发 展 壮大 ， 许 多 团队 手 里 的 规范 性 测试 用 例 和 回归 
测试 用 例 越 来 越 多 ， 这 些 测试 用 例 需 要 更 好 的 管理 。 实 际 上 ， 测 试用 
例 变 得 如 此 之 多 ， 以 至 于 搜索 和 共享 变 成 了 一 种 负担 ， 亚 需 其 他 的 解 
决 方案 。 一 些 测 试 人 员 实 现 了 一 个 称 为 Test Scribe 的 系统 ， 它 松散 地 集 
成 了 一 些 商 业 化 工具 和 定制 的 测试 用 例 管理 系统 ， 这 些 系 统 大 家 在 其 
他 公司 时 就 已 经 比较 熟悉 了 。 

Test Scribe 中 的 测试 用 例 具 有 严格 的 语法 模板 ， 而 且 人 允许 在 一 次 测 
斌 执行 中 包括 或 排除 部 分 测试 用 例 。Test Scribe 作 为 一 个 简单 的 实现 ， 
使 用 和 维护 它 的 热情 逐渐 减 小 ;， 然而， 许多 团队 已 经 对 它 形成 了 依 
赖 。 在 维护 了 几 个 季度 之 后 ，Test Scribe 下 线 ， 取 而 代 之 的 是 由 一 位 叫 
Jordanna Chord 的 资深 测试 开发 工程 师 在 2010 年 开发 的 一 个 新 工具 : 
Google 测 试用 例 管家 GTCM (Google Test Case Manager) 。 

GTCM 的 设计 思想 是 简化 测试 用 例 的 编写 。 它 提供 了 一 种 灵活 的 
标签 格式 ， 任 何 项 目 可 以 目 行 定制 ， 这 使 得 测试 用 例 便于 查找 和 复 
用 。 最 重要 的 是 ， 将 GTCM 与 Google 的 基础 设施 相 集成 ， 使 得 测试 结 
得 以 成 为 头等 公民 。 图 3.10 一 图 3.14 展 示 了 GTCM 的 各 种 截图 ， 其 中 图 
3.11 是 测试 用 例 创建 页 面 ， 测 试用 例 可 以 有 任意 多 的 章节 或 标签 。 这 
样 ，GTCM 可 以 支持 一 切 测试 ， 从 经 典 的 测试 和 验证 步 又 ， 到 探索 式 
的 漫游 、cukes (译注 : cukes 是 一 种 行为 驱动 的 测试 用 例 描述 ， 参 见 
http://cukes.info) 、 用 户 故 事 描述 等 ， 甚 至 有 一 些 团 队 在 GTCM 测 试用 


例 中 存储 代码 或 数据 片段 。GTCM 必 须 文 持 各 种 类 型 的 测试 团队 以 及 
他 们 多 变 的 测试 用 例 格式 。 
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A 13.10 GTCM 主 页 关注 的 核心 是 搜索 体验 


Create Project 
Project Name 
Description of your project 


Bug tracker 


Componentid (Buganizer), Project Name (Issue Tracker) or Uri 
Deprecation Service Settings 
The deprecation service monitors your tests and automatically notifies you if tests have become inactive and should be considered for archiving or deletion. 


Tests marked as inactive can be reviewed within the deprecation service. You can also use search to find all tests that have been marked as potentially 
inactive. We recommend archiving these inactive tests to make it easier to maintain your projects. Archived tests can still be found in search using the 
"isarchived' search operator but are hidden by default. 


Number of days that must pass of no activity before we consider the test inactive. When we consider a test as inactive it will be added to the deprecation 
service for review so that you can easily decide whether to archive, delete, or leave it as is. 
O Disable Deprecation Service 


Numberofdays-| 30 days $ 


Permissions 


Project level permissions impact who can edit and see your project. These do not override test level permissions. This means you may grant someone 
access directly to a test who may not have access to the entire project. 


od on 


o B google.com a a google.com 
People at google.com can view. People at google.com can edit. 


These users may view. These users may edit. 

(Valid email addresses required. Comma (Valid email addresses required. Comma 
separated. Maximum of 25.) separated. Maximum of 25.) 
eng&ildap.google.com eng&ldap.google.com 


A [3.11 在 GTCM 里 创建 一 个 项 目 
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A 图 3.12 在 GTCM 里 创建 一 个 测试 用 例 
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A 图 3.13 在 GTCM 里 搜索 Chrome 之 后 得 到 的 测试 用 例 
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Precondition 
Procedure 

1 Wronch icon > About Google Chrome 
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Verty the Chrome info window showing the latest version of Browser 
Verity a check for the latnst updates available for Browser. 
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A 图 3.14 Chrome 的 About 对 话 框 的 简单 测试 用 例 

GTCM 相 关 的 数据 有 助 于 理解 测试 人 员 使 用 测试 用 例 的 整体 情 
况 。 测 试用 例 的 总 数 和 测试 结果 的 趋势 很 有 意思 ， 如 图 3.15 和 图 3.16 所 
示 。 测 试用 例 总 数 正 在 接近 一 个 渐进 线 。 初 步 的 分 机 发现，Google 正 
在 淘汰 一 些 老 的 、 更 多 依靠 人 工 做 回归 的 项 目 及 其 测试 用 例 。 男 外 ， 
GTCM 主 要 管理 手工 测试 用 例 ， 许 多 团队 正在 自动 化 他 们 的 手工 测 
试 ， 或 者 改 为 众 包 测试 和 探索 式 测试 ， 这 就 降低 了 内 部 TCM 中 测试 用 
例 的 总 量 ,， 但 履 盖 度 却 在 提高 。 有 记录 的 测试 结果 的 数量 在 增加 ， 这 
是 因为 儿 个 较 大 的 主要 依赖 手工 测试 的 团队 如 Android 占 了 很 大 比例 。 


The total number of tests that have been added to TCM. 


Zoom: id 5d im 3m 6m ly Max 


A 213.15 GTCM 中 的 测试 用 例 的 数量 随时 间 的 变化 


有 记录 的 手工 测试 结果 的 总 数 在 增加 ， 这 符合 一 般 预 期 ( 见 图 
3.16) 。 


Total Test Results 


The total number of times tests in TCM have been executed. 


Zoom: id Sd im 3m $m ly Max July 01, 2011 


A 413.16 GTCM 中 的 测试 结果 的 数量 随时 间 的 变化 

图 3.17 展 示 了 GTCM 关 联 的 bug 数 量 曲 线 ， 这 值得 一 看 ， 但 要 理解 
数据 是 不 完整 的 。Google 的 文化 是 目 底 同上 上， 一些 团队 会 跟踪 bug 来 目 
于 哪些 测试 用 例 ; 而 其 他 一 些 团 队 则 不 太 在 意 这 些 数 据 ， 因 为 他 们 在 
自己 的 项 目 中 没有 发 现 这 些 数据 有 什么 大 的 价值 。 另 外 ， 并 不 是 所 有 
的 bug 都 来 自 于 手工 测试 执行 ， 有 一 些 是 由 自动 化 测试 产生 的 。 

从 第 一 天 开始 ，GTCM 就 有 一 个 重要 需求 : 清楚 简单 的 API。 
TestScribe 有 API， 但 它 是 HTTP SOAP 型 的 。 身 份 验证 机 制 很 麻烦 ， 导 
致 很 少 有 人 使 用 这 个 API。 随 着 内 部 安全 规格 的 提高 ， 原 来 的 验证 机 制 
太 策 抽 了 “。 为 了 解决 这 些 问 题 ，GTCM 使 用 RESTFUL 的 JSON API ° 

GTCM 的 团队 希望 将 它 开 放 给 外 部 用 户 使 用 ， 硕 望 将 这 个 测试 用 
例 数据 库 开 源 ， 在 更 大 的 范围 内 一 起 维护 。GTCM 的 设计 也 充分 考虑 
到 了 外 部 的 复 用 。 它 建 在 Google App Engine 之 上 ， 具 有 民 好 的 可 扩展 


性 ， 并 允许 Google 之 外 的 其 他 测试 人 员 运 行 他 们 目 己 的 实例 。GTCM 
内 部 实现 的 很 多 逻辑 和 UI 也 做 了 抽象 ， 使 之 不 依赖 于 Google App 
Engine， 可 以 移植 到 其 他 平台 。 天 于 这 个 工作 的 进展 ， 可 以 关注 Google 
Testing Blog ° 


Total Bugs 
The total number of bugs that have been reported for tests and results in TCM. 


July 01, 2011 


A 213.17 GTCM 测 试 执行 记录 的 pug 总 数 随 时 间 的 变化 


3.2.4bug 的 生命 周期 


bug 和 bug 报 告 征 每 个 测试 人 员 都 理解 的 东西 。 发 现 pug、 分 类 
bug、 人 和 修复 bug、 回 归 测 试 是 软件 质量 的 心跳 和 运作 模式 。 这 是 Google 
测试 活动 中 最 为 传统 的 部 分 了 ， 但 仍然 有 一 些 有 趣 的 不 同 之 处 。 在 本 
万 ， 我 们 忽略 那些 用 来 跟踪 工 单 的 "bug”， 只 讨论 反映 了 代码 问题 的 
bug ° 这样，bug 经 常 代表 着 工程 团队 每 天 每 时 每 刻 的 工作 。 


bug 的 诞生 。Google 的 任何 人 都 可 以 发 现 并 报告 bug。 当 产品 经 理 
在 早期 版 本 里 发 现 了 与 规范 不 一 致 的 问题 时 会 报告 bug; 当 开 发 人 员 意 
识 到 目 己 不 小 心 提 交 了 有 问题 的 代码 ， 或 者 在 代码 库 的 其 他 地 方 发 现 
了 问题 ， 或 者 在 内 部 试用 Google 产 品 的 时 候 ， 也 会 报告 bug。bug 还 会 
来 目 于 线 上 环境 、 众 包 测 试 、 外 包 员 工 测 试 ， 以 及 天 注 某 个 产品 的 
Google 讨 论 组 的 社区 经 理 。 许 多 内 部 版 本 的 应 用 还 会 有 一 键 报告 bug 的 
功能 ， 如 Google 地 图 。 另 外 ， 有 时 候 软 件 可 以 通过 API 自 动 创建 bug 。 

因为 围绕 一 个 bug 的 跟踪 和 流程 占据 了 很 多 工程 师 一 大 块 儿 时 间 ， 
我 们 投入 了 大 量 工作 来 进行 流程 的 目 动 化 。Google 第 一 个 bug 数 据 库 是 
BugDB， 它 不 过 是 几 张 数据 库 表 来 保存 信息 ， 再 加 上 一 些 查 询 检 索 功 
能 ， 并 能 提供 一 些 统计 报表 数据 » BugDB 一 直 用 到 2005 年 ， 在 那 一 
年 ， 儿 个 Google 工 程 师 ，Ted Mao (译注 : 第 2 章 有 一 个 对 Ted Mao 的 访 
谈 ) 和 Ravi Gampala 实 现 了 Buganizer ° 

Buganizer 的 主要 设计 目标 有 以 下 几 个 内 容 。 

更 加 灵活 的 n 级 组 件 层 次 ， 以 取代 BugDB 人 得 单 的 项 目 > 组 件 > 版 本 层 
次 〈 当 时 所 有 的 商业 bug 数 据 库 都 是 如 此 ) 。 

更 好 的 bug 跟 路 审计 ， 与 分 类 和 维护 有 天 的 狐 工 作 流 。 

更 容易 的 跟踪 一 组 bug 以 及 创建 、 管 理 常 用 项 列表 。 

登录 验证 ， 更 加 安全 。 

创建 汇总 图 表 和 报告 的 支持 。 

全 文 搜 索 和 变更 历史 。 

bug 的 缺 省 设置 

更 好 的 可 用 性 ， 更 加 直观 的 用 户 界 面 。 

1.Buganizer 的 一 些 细节 和 数据 

最 早报 告 且 仍然 存在 的 bug: 2001 年 5 月 18 日 15 时 33 分 ， 标 题 是 Test 
Bug， 正 文 是 “First Bug! ”。 有 意思 的 是 ， 在 开发 人 员 被 要 求 输入 他 们 
的 CL 修 复 的 pug 时 ， 这 个 bug 经 常 被 不 小 心 误 用 。 


最 早报 告 、 目 前 仍然 处 于 活跃 状态 的 bug 诞 生 于 1999 年 3 月 ， 建 议 
进行 性 能 分 析 以 减少 根据 地 区 产生 广告 的 延迟 。 最 后 的 动作 发 生 在 
2009 年 ， 有 人 在 编辑 中 说 可 以 进行 分 析 ， 但 这 需要 架构 上 的 变化 。 实 
际 上 ， 当 前 的 延迟 挺 好 的 。 

下 面 是 一 些 有 关 Google bug 数 据 的 报告 ， 其 中 一 部 分 是 自动 记录 
的 ， 一 部 分 是 手工 记录 的 ， 报 告 展示 了 整体 数据 。 某 些 自动 记录 主导 
了 bug 的 趋势 ， 我 们 没有 突出 任何 单独 的 团队 ， 尽 管 那样 做 也 很 有 意 
FA o 

很 多 bug 的 优先 级 都 是 P2 〈 译 注 : 类 似 很 多 bug 管 理 系统 ， 我 们 使 
用 PX 一 Xx 是 一 个 整数 ， 用 来 定义 bug 的 优先 级 。P0 代表 最 糟糕 的 
bug, P1 次 之 等 ) 级 别 ，P1 少 得 多 ，P0 则 更 少 ， 如 图 3.18 所 示 。 现 象 
本 身 不 能 直接 说 出 原因 ， 但 这 个 分 布 可 能 标志 着 本 书 所 描述 的 工程 方 
法 论 是 有 效 的 。 还 有 一 种 可 能 是 人 们 懒得 去 提 P1 的 问题 ， 这 与 我 们 所 
知 不 符 。P3 和 P4 的 bug 通 常 不 会 被 提交 ， 因 为 人 们 很 少 去 关心 这 样 的 问 
题 o 

bug 的 平均 年 龄 也 符合 通常 预期 ， 如 网 3.19 所 示 ， 除 了 P0 bug 显 得 
有 点 反常 。 然 而 ， 这 也 是 可 以 理解 的 ， 因 为 P0 bug 常 常 反映 了 严重 的 设 
计 或 部 署 问题 ， 调 试 复杂 度 高 ， 难 以 修复 。 其 他 bug 优 先 级 越 低 ， 重 要 
性 越 低 ， 平 均 修 复 响应 时 间 也 就 越 长 。 
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A 图 3.18 Buganizer bug 的 优先 级 分 布 


Average Age of Bugs/Customer Issues 
Vew DE Related reports + 
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图 3.19 Buganizer bug 的 平均 年 龄 


图 3.20 所 示 的 bug 发 现 图 显示 了 bug 的 逐 月 的 缓慢 增加 。 单 从 此 图 ， 
我 们 无 法 系统 地 理解 这 种 增长 的 含义 。 一 种 直接 的 解释 是 代码 和 开发 
人 员 越 来 越 多 ， 但 是 ，bug 增加 的 速度 要 小 于 测试 人 员 和 开发 人 员 增 加 
的 速度 。 也 许 是 我 们 的 代码 在 质量 控制 之 下 变 得 越 来 越 好 ， 也 许 是 被 
我 们 发 现 的 数量 减少 了 。 


| Found Bugs Trend over last 12 months 
View or 


All Buganzier data from current view 


WM issues count W Issues count (Accumulated) 
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Created During Month 
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图 3.20 bug 发 现 的 趋势 

图 3.21 所 示 的 修复 率 说 明 团 队 通 常 都 能 很 好 的 控制 bug 率 。 许 多 团 
了 以 在 bug 到 达 的 速度 超过 了 其 修复 能 力 的 时 候 ， 干 脆 不 再 进行 新 功能 特 
性 的 开发 。 我 们 强烈 推荐 这 种 实践 ， 而 反对 那 种 只 有 盯 着 特性 或 者 代码 
完成 的 里 程 碑 的 做 法 。 集 中 精力 于 少量 测试 过 的 代码 、 增 量 式 的 测试 
以 及 内 部 试用 ， 这 些 有 助 于 将 bug 率 置 于 有 效 控 制 之 下 。 

随 着 越 来 越 多 的 Google 产 品 对 外 开源 ， 就 像 Chrome 和 Chrome OS 
那样 ， 继 续 使 用 一 个 bug 数据 库 变 得 越 来 越 不 可 能 了 。 这 些 项 目 还 会 使 


用 外 部 可 见 的 bug 数 据 库 ， 例 如 ，WebKit 使 用 Mozilla 的 Bugzilla 来 记录 
问题 ，chromium.org 则 使 用 Issue Tracker。Googler 被 鼓励 报告 他 们 看 到 
的 任何 产品 里 的 bug， 包 括 竞 争 产 品 里 的 。 百 要 目标 是 使 得 整个 Web 变 
得 更 好 。 

Issue Tracker 是 所 有 Chrome 和 Chrome OS bug 的 核心 库 。 这 意味 着 
任何 人 都 可 以 看 到 围绕 bug 进 行 的 活动 ， 甚 至 是 新 闻 界 。 安 全 bug 有 时 
会 被 隐藏 起 来 一 直到 被 修复 ， 以 免 泄 密 给 黑客 ， 除 此 之 外 的 bug 完全 
公开 。 外 部 用 户 也 可 以 自由 提交 bug， 他 们 是 非常 有 价值 的 bug 来 源 。 
图 3.22 和 图 3.23 演 示 了 如 何 搜索 和 发 现 一 个 与 About 对 话 框 里 的 Chrome 
图 标 有 关 的 bug。 
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A 213.21 bug 修 复 趋势 
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Available Color profile is unloaded Jul 2009 
ExtemalDependency Incorrect rendering of FF12Maps.com Apr 15 
ailable Button on New York Times is not rendered Sep 2009 


A 图 3.22 Issue Tracker 搜 索 


然而 ，Buganizer 仍然 是 Google 最 长 寿 的 和 最 广泛 使 用 的 测试 设 
施 ， 值 得 我 们 做 更 多 的 讨论 。 就 其 主要 功能 而 言 ， 它 是 一 个 典型 的 bug 
数据 库 ， 并 能 支持 问题 跟踪 的 核心 质量 周期 ， 从 发 现 到 解决 ， 以 及 创 
建 回归 测试 用 例 。Buganizer 同样 建立 在 Google 最 新 的 核心 存储 技术 之 
上 ， 具 有 良好 的 可 扩展 性 和 速度 。 
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An open-source browser project to help move the web forward. Search projects 
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New issue Search ( Open issues $) for logo Search Advanced search Search tips 


Issue 77354: REGRESSION: NEW logo reverted back to old logo in 12.0.712.0 dev 
71 people starred this issue and may be notified of changes. 


Status: Assigned Reported by Mattj...@gmail.com, Mar 24, 2011 
Owner: 一 Chrome Version : 12.0.712.0 (Official Build 79102) dev 
fin...@chromium.org, 
thomasvi@chromium.org, What is the expected result? 
i Keep the same ndw awesome Google Chrome logo from previous dev version. 


What happens instead? 


New logo was changed to the old logo. 
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图 3.23 在 Issue Tracker 中 打开 Chromium 的 bug 


下 面 列 出 了 bug 的 各 种 字段 ， 只 有 很 少儿 个 是 必 填 的 。 我 们 故意 不 
明确 这 些 字 段 的 定义 ， 以 便 每 个 团队 能 目 主 决定 其 使 用 方式 ， 以 适合 
自己 的 工作 流程 。 

Assigned to (Assignee， 被 指派 者 ) 

[可 选 ] 负责 采取 下 一 步 动 作 的 人 的 LDAP 名 ， 问 题 创 建 及 发 生 任意 
修改 时 ， 会 目 动 触 发 邮件 通知 给 此 人 “。Buganizer 管 理 员 为 每 一 个 组 件 
虽 定 一 个 缺 省 的 assignee ^ 

cc ( 抄 送 ) 

[可 选 ] 当 一 个 问题 被 创建 或 修改 时 ， 需 要 发 邮件 通知 的 一 个 或 多 
个 人 的 LDAP 名 字 。 名 字 只 能 用 LDAP 或 邮件 列表 名 ， 不 得 出 现 
@google， 从 而 只 有 Google 邮 件 列表 或 Google 员 工 是 有 效 的 输入 。 名 字 
用 逗号 分 割 。 不 用 包括 “Assigned to” 中 的 名 字 ， 因 为 这 是 在 报告 一 个 
bug 时 缺 省 会 被 通知 到 的 人 。 


Attachments (附件 ) 

[可 选 ] 一 个 或 多 个 附件 。 接 受 所 有 文件 类 型 ， 没 有 数量 限制 ， 但 
每 个 附件 不 得 超过 100MB 。 

Blocking (阻塞 ) 

[可 选 ] 该 bug 修 复 之 后 才能 被 修复 的 其 他 bug 的 IDs， 以 逗号 分 隔 。 
更 新 此 列表 会 导致 所 列 bug 的 Depends On 字段 被 目 动 更 新 。 

Depends On (依赖 ) 

[可 选 ] 该 bug 依 赖 的 其 他 bug 的 IDs， 在 其 他 bug 被 修复 之 前 ， 该 bug 
无 法 修复 。 更 新 此 列表 会 导致 所 列 bug 的 Blocking 字 段 被 目 动 更 新 。 

Changed (变化 ) 

[只 读 ] 该 问题 的 最 后 修改 日 期 和 时 间 。 

Changelists (变更 列表 ) 

[可 选 ] 处 理 该 问题 的 一 个 或 多 个 变更 列表 (CL) 编号 。 只 列 出 已 
经 被 提交 的 CLs， 不 要 指定 尚未 提交 的 CLs。 

Component (组 件 ) 

[ 必 选 ] 有 此 bug 或 者 需求 的 实体 。 在 创建 问题 时 ， 这 应 当 是 指向 组 
件 的 完整 路 径 ， 不 限 长 度 。 但 是 ， 你 不 一 定 要 给 出 叶子 组 件 (没有 子 
TA) 。 

只 有 项 目 和 工程 经 理 才 能 增加 组 件 。 

Created (创建 于 ) 

[只 读 ] 该 bug 的 创建 日 期 。 

Found In. (发 现 于 ) 

[可 选 ] 输入 你 发 现 此 问题 时 的 软件 版 本 号 ， 例 如 1.1。 

Last modified (最 后 修改 ) 

[只 读 ] 该 问题 的 任 一 字段 被 修改 的 最 后 日 期 。 

Notes (备注 ) 


[可 选 ] 问题 本 叶 及 其 处 理 过 程 中 的 注解 的 详细 撒 述 。 在 创建 时 ， 
描述 一 个 pug 的 复 现 步骤 ， 或 者 到 达 一 个 需求 的 相关 屏幕 的 步骤 。 你 在 
这 里 输入 的 信息 越 多 ， 将 来 的 问题 处 理 者 需要 联系 你 的 可 能 性 就 越 
小 。 已 经 提交 的 备注 项 不 能 再 编辑 ， 即 使 是 你 自己 创建 的 也 一 样 ， 只 
能 在 此 字段 中 增加 新 的 备注 项 。 

Priority (优先 级 ) 

[ 必 填 ] 一 个 bug 的 重要 程度 ，P0 最 高 。 这 代表 了 和 希望 多 快 被 修复 以 
及 投入 多 少 资 源 去 修复 。 例 如 ， 在 搜索 页 的 图 标 中 的 “Google” 的 错误 拼 
写 的 严重 程度 (severity) 比较 低 (页 面 功 能 不 受 影响 ) ， 但 是 优先 级 

(priority) 高 (这 将 是 一 件 非常 糟糕 的 事情 ) 。 填 写 这 两 个 字段 能 帮 
助 修复 团队 更 合理 的 安排 时 间 。 男 见 Severity 描 述 。 

Reported b(Reporter， 报 告 者 ) 

[只 读 ]bug 的 最 初 报告 者 的 Google 账 号 。 默 认 值 是 创建 该 bug 的 人 ， 
但 也 可 以 改 成 实际 的 报告 者 。 

Resolution (解决 方案 ) 

[可 选 ] 验证 者 选择 的 最 终 解 决 方案 。 合 法 值 包 括 : Not feasible (不 
可 行 ) ^ Works as intended (设计 如 此 ) ^ Not repeatable (无 法 重 
现 ) 、Obsolete (废弃 ) ` Duplicate (重复 ) 和 Fixed (BZ) 。 

Severity ( 严 重 性 ) 

LOR] 该 bug 在 多 大 程度 上 影响 产品 的 正常 使 用 ，S0 是 最 高 级 别 。 
填写 优先 级 和 严重 性 有 助 于 bug 修 复 者 确定 该 bug 的 重要 性 。 例 如 ， 在 
搜索 页 的 图 标 中 的 “Google” 的 错误 拼写 的 严重 程度 (severity) 比较 低 

(页 面 功能 不 受 影响 ) ， 但 是 优先 级 (priority) 高 (这 将 是 一 件 非常 
糟糕 的 事情 ) 。 填 写 这 两 个 字段 能 帮助 修复 团队 更 合理 的 安排 上 时间。 
严重 性 的 级 别 如 下 : 

—— S0 = 系统 不 可 用 


— —S$1-7 高 


一 一 S2= 中 

—$3= 1f& 

— SA = 对 系统 无 影响 

Status (状态 ) 

LVH] bug 的 当前 状态 。 天 于 这 些 值 是 如 何 被 设置 的 ， 参 见 问题 的 
生命 周期 ( 见 

图 3.24) 。 可 用 的 状态 包括 : 

一 一 New (新 建 ) : 问题 刚 给 创建 ， 尚 未 指派 。 

一 一 Assigned (已 指派 ) : 问题 已 被 指派 给 某 人 。 

—— Accepted (已 接受 ) : 某 人 接受 了 指派 。 
Fix later (以 后 修复 ) : 指派 给 的 人 决定 推迟 到 将 来 解决 该 


问题 。 

— Will not fix (不 修复 ) : 出 于 某 种 原因 ， 指 派 给 的 人 决定 不 
去 修复 该 问题 。 
Fixed (已 修复 : 问题 已 经 被 修复 ， 但 结果 尚未 验证 。 

— — Verifier assigned (验证 者 已 确定 ) : 问题 已 经 被 指派 给 某 人 
去 做 验证 。 

— Verified (已 验证 ) : 修复 已 经 被 验证 。 

Summary (摘要 ) 

[ 必 填 ] 该 bug 的 描述 性 摘要 。 尽 量 做 到 准确 概括 。 这 将 会 帮助 用 户 
在 深 动 搜索 结 采 的 列表 页 面 时 决定 是 否 进去 查看 一 个 问题 。 

Targeted To (目标 ) 

[可 选 ] 用 于 输入 该 bug 应 该 被 修复 的 软件 版 本 号 ， 例 如 1.2。 

Type (类 型 ) 

[^38] 问题 的 类 型 : 

— Bug (REA) : 导致 程序 无 法 按 预期 工作 的 东西 。 

— Feature request (和 需求) : 你 希望 加 入 程序 的 东西 。 


一 一 Customer issue (客户 问题 ， : 一 个 培训 问题 或 者 一 般 性 讨 
论 。 

— — Internal cleanup (内 部 清理 ) : 需要 维护 的 东西 。 
Process (流程 ) : 通过 API 自 动 跟踪 的 东西 。 

Verified In (验证 于 ) 

[可 选 ] 用 于 输入 问题 修复 被 验证 的 软件 版 本 号 ， 例 如 1.2。 

Verifier (验证 者 ) 

[问题 被 解决 之 前 必 填 ] 每 个 问题 都 会 被 指派 给 某 个 有 权 将 问题 标 
识 为 已 解决 的 人 。 直 到 问题 准备 被 解决 之 前 ， 此 人 无 需 被 指定 ， 但 只 
有 验证 者 有 权 将 状态 改 为 “Verified 〈 已 验证 ， 问 题 被 关闭 ) ”。 验 证 者 
与 被 指派 者 (assignee) 可 以 是 同一 个 人 。 

图 3.24 总 结 了 一 个 问题 的 生命 周期 。 


Life of an Issue 


Create an issue 
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Action 
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图 3.24 Buganizer 里 bug 的 基本 工作 流 


Google 的 bug 管 理 与 其 他 公司 有 几 个 天 键 的 不 同 之 处 。 


> 


bug 数 据 库 是 完全 开放 的 ， 任 意 一 名 Googler 都 能 看 到 任 一 项 目的 任 
—bug ° 

所 有 人 都 提交 bug， 包 括 工 程 总 监 和 高 级 副 总 裁 (SVP) 。 即 使 不 
属于 一 个 产品 团队 ，Googler 也 可 以 提交 该 产品 的 bug 。 成 群 的 测试 人 员 
经 名 会 扑 在 一 个 产品 上 ， 只 是 为 了 尽 己 所 能 地 提供 帮助 。 

不 存在 正式 的 自 顶 向 下 的 确定 bug 优 先 级 的 流程 QE: Triage 是 评 
审 bug、 决 定 修复 顺序 和 负责 人 的 流程 ， 与 急诊 室 里 的 伤员 鉴别 归 类 非 
常 类 似 ) 。 如 何 确定 优先 级 ， 在 不 同 团 队 的 做 法 是 非常 不 同 的 。 有 
时 ， 这 是 一 个 人 的 事情 ， 或 者 一 个 TE 和 一 个 SWE 在 某 人 的 办 公 桌 边 一 
块 完成 。 有 时， 这 在 周 会 或 者 每 日 立会 上 完成 。 团 队 自 己 决定 谁 应当 
出 席 ， 怎 么 样 做 最 好 。 不 存在 正式 的 方法 或 者 仪表 板 或 者 老板 们 频 党 
的 出 现在 团队 中 进行 讨论 。Google 把 此 事 留 给 各 个 团队 自主 决定 。 

Google 的 项 目 通 常 处 于 两 种 状态 中 的 一 种 : 新 的 、 处 于 快速 开发 
中 的 项 目 和 已 经 成 型 的 、 增 量 式 发 布 中 的 项 目 。 前 者 总 是 不 断 地 有 问 
题 出 现 ， 后 者 则 有 大 量 的 单元 测试 和 容错 性 测试 做 傈 证 ， 从 而 bug 数 量 
较 少 ， 也 相对 容易 管理 。 

与 许多 其 他 公司 一 样 ， 统 一 的 dashboard 是 Googler 的 一 个 荣 绕 不 去 
的 梦想 。 大 概 每 年 都 会 有 人 尝试 去 实现 一 个 可 用 于 Google 所 有 项 目 
的 、 集 中 式 的 bug 或 项 目 dashboard。 这 是 有 意义 的 ， 哪 怕 是 只 局 限于 
Buganizer 数 据 。 然 而 ， 由 于 每 个 团队 对 项 目 交 付 和 日 常 健康 状况 的 各 
种 指标 的 重要 性 有 不 同 的 看 法 ， 这 些 努 力 都 中 途 天 折 了 。 也 许 这 个 想 
法 在 那些 更 标准 化 的 公司 是 可 行 的 ， 但 在 Google， 那 些 出 于 善意 的 人 
们 经 常 因 为 Google 项 目 和 工程 的 多 样 性 而 折 职 沉 沙 、 倍 感 挫败 。 

一 个 全 公司 范围 的 提交 bug 的 方法 是 由 Google Feedback team 

(http://www.google.com/tools/feedback/intl/en/index.html, Brad Green 是 

Google Feedback 的 工程 经 理 ， 第 4 章 有 对 他 的 一 次 访谈 ) 启动 的 。 终 端 
用 户 能 够 使 用 Google Feedback 提 交 针 对 某 个 产品 的 bug。 思路 是 这 样 
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望 更 快 更 方便 地 从 用 户 那 里 得 到 反馈 。 因 此 ，Google 的 测试 人 员 和 软 
件 工程 师 们 设计 出 了 这 种 point-and-click 式 的 、 非 常 简单 的 用 户 提交 bug 
的 方法 。 这 个 团队 的 工程 师 们 尽 其 全 力 确 保 用 户 在 提交 bug 给 Google 
时 ， 可 以 很 直观 地 把 页 面 上 可 能 包含 隐私 数据 的 部 分 去 掉 ， 如 图 3.25 所 
me 
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A 13.25 Google Feedback 及 其 隐私 过 滤 


Google Feedback 团 队 实现 了 非常 强大 的 功能 ， 用 以 避免 把 这 些 用 
户 报告 的 pug 一 股 脑 地 倾泻 到 我 们 的 bug 数据 库 里 ， 因 为 重复 报告 会 把 
bug 分 类 过 程 (bug triage process) 拖 垮 。 他 们 使 用 了 聚 类 算法 来 自动 识 
别 重 复 记 录 并 确定 最 频繁 的 问题 。Google Feedback 有 一 个 dashboard 用 
于 显示 经 过 处 理 的 数据 ， 帮 助 产品 团队 进行 分 析 。 新 应 用 上 线 之 后 ， 
成 和 于 上 万 的 问题 测 涌 而 来 并 不 罕见 一 一 需要 精简 到 10 个 左右 的 主要 


的 、 共 性 的 问题 。 这 将 节省 大 量 的 时 间 ， 从 而 使 得 Google 无 需 处 理 每 
一 条 反馈 即 可 真正 听 到 终端 用 户 的 声音 。 我 们 正在 对 少量 的 Google 功 
能 进行 beta 测 试 ， 和 希望 将 来 能 推广 到 所 有 的 功能 特性 上 。 

2.bug 的 一 生 (作者 : James Whittaker) 

bug 像 是 一 个 被 过 分 宠爱 的 小 护 子 ， 得 到 了 特别 多 的 天 注 。 它 们 在 
开发 者 的 IDE 里 悄然 无 声 的 诞生 ， 但 在 现 吴 之 刻 却 引 来 一 厂 喧 闸 。 

对 于 测试 人 员 发 现 的 bug， 它 们 的 生命 是 这 样 的 : 测试 人 员 发 现 
bug， 花 些 时 间 细 细 品 味 。 这 一 点 很 重要 ， 不 仅仅 是 因为 我 们 有 权利 享 
受 自 己 劳动 的 果实 ， 而 且 ， 这 对 于 理解 此 bug 微妙 的 细小 差别 及 其 出 现 
的 条 件 也 是 很 重要 的 。 它 是 否 在 用 户 可 达 之 路 上 ? 这 些 路 径 被 走 到 的 
可 能 性 有 多 大 ? 除了 发 现 bug 的 这 条 路 径 ， 是 否 还 有 更 多 的 路 径 也 会 导 
致 相同 的 问题 ? 是 否 存在 可 能 影响 数据 或 者 其 他 应 用 (这 将 增加 其 严 
重 性 ) 的 副作用 ? 是 否 存 在 隐私 、 安 人 全、 性能， 或 者 可 访问 性 方面 的 
影响 ? 当 父 母 昕 到 小 孩子 的 一 声 轻 轻 的 咳嗽 时 ， 营 会 想象 最 坏 的 衰竭 
性 疾病 ， 他 们 一 定 非常 理解 软件 工程 师 对 于 软件 bug 的 感受 。 

束 像 父母 会 打 电 话 给 朋友 或 了 亲戚 ， 讨 论 小 孩子 咳嗽 一 样 ， 测 试 人 
员 也 应 该 找 同伴 来 分 享 他 的 发 现 。 邀 请 一 个 同事 来 观看 演示 ， 问 问 她 
的 想法 ， 讨 论 你 的 理解 ，bug 的 严重 程度 、 优 先 级 和 副作用 等 。 这 些 讨 
论 使 问题 更 为 清晰 。 父 母 经 常 可 以 免 去 到 急诊 室 的 行程 ， 而 测试 人 员 
经 党 发 现 他 曾 认 为 是 P0 的 问题 实际 上 也 无 天 紧要 ， 从 而 避免 出 现 “ 狼 来 
了 ”这 样 的 疝 剧 。 

现在 是 提交 bug 报 告 的 时 候 了 。 就 像 父 母 需要 温度 计 一 样 ， 测 试 人 
员 也 需要 一 些 工 具 。 父 母 希望 孩子 的 病情 更 容易 得 到 诊断 ， 妈 妈 希 望 
说 服 医生 孩子 的 病 非 常 的 严重 ， 而 测试 人 员 也 希望 增加 严重 程度 ， 但 
更 加 重要 的 是 ， 测 试 人 员 布 望 bug 更 容易 能 倍 修 复 。 截 屏 、 按 键 记录 、 
stack traces ` DOM dumps 等 都 是 记录 bug 的 方法 。 开 发 得 到 的 信息 越 
多 ， 修 复 起 来 就 越 不 可 怕 ，bug 被 修复 的 可 能 性 也 束 越 大 。 


bug 报告 会 触发 一 封 邮件 ， 发 送 到 所 有 相关 人 员 的 邮箱 里 。 修 复 会 
产生 一 个 变更 列表 (CL) , CL 排队 去 接受 评审 ， 一 旦 得 到 批准 ， 就 进 
入 构建 目标 队列 中 。 这 相当 于 治疗 bug 的 药物 ， 就 像 父 母 观察 孩子 对 抗 
生 素 的 反应 一 样 ， 测 试 人 员 也 会 收 到 新 的 测试 构建 已 经 就 绪 的 邮件 提 
桓 。 他 接 下 来 就 会 安装 这 个 构建 版 本 ， 然 后 重新 执行 发 现 bug 的 测试 用 
例 。 

现在 ， 这 个 测试 用 例会 成 为 该 应 用 的 回归 测试 集 的 一 部 分 。 尽 可 
能 把 它 自动 化 ， 以 防止 bug 重复 出 现 。 至 少 应 该 编写 手工 测试 用 例 ， 
并 提交 到 测试 用 例 管理 (Test Case Management) 系统 中 去 。 这 样 ， 系 
统 束 对 未 来 的 感染 具有 了 任 疫 力 ， 就 像 小 孩子 建立 了 对 曾 导 致 他 生病 
的 细菌 的 免疫 力 一 样 。 


3.2.5 TE 的 招聘 


Google 的 工程 师 招 聘 是 件 大 事 。 我 们 的 工程 师 通 音 都 是 拥 有 计算 
机 科学 或 相关 学 位 的 正规 大 学 毕业 生 。 然 而 ， 很 少 有 学 校 系统 地 教授 
软件 测试 课程 。 这 给 公司 招聘 优秀 的 测试 人 员 市 来 了 挑战 ， 难 以 找到 
融合 编程 和 测试 两 种 技能 的 合适 的 人 才 。 

TE 的 招聘 元 其 困难 ， 因 为 最 好 的 TE 不 是 那些 基础 算法 、 定 理 证 
明 、 功 能 实现 上 的 牛人 。 一 直 以 来 ， 我 们 形成 了 面 同 SWE 或 SET 的 招 
聘 和 面试 流程 ， 而 Google 的 TE 招 聘 则 打破 了 这 一 模型 。 坦 日 地 讲 ， 我 
们 也 犯 过 错 。 事 实 上 ， 在 早期 为 改善 TE 面试 流程 而 进行 的 努力 折腾 过 
很 多 测试 人 员 ， 我 们 应 该 对 他 们 表示 歉意 。TE 是 稀缺 个 体 ， 是 技术 
人 ， 关 注 用 户 ， 能 在 系统 级 别 和 端 到 端的 视角 上 理解 产品 。 他 们 是 无 
情 的 、 伟 大 的 谈判 专家 ， 最 重要 的 征 ， 他 们 刘 有 创造 性 、 善 于 应 对 模 
MITE ^ XM EAT Google 或 者 任何 一 家 公司 要 努力 去 招聘 这 种 人 才 
的 原因 。 


测试 的 重要 一 面 是 做 确认 (validation) , 3X— A RE 9 — 
个 应 用 是 否 达 到 用 户 预 期 ? 大 量 的 测试 工作 是 计划 执行 和 完成 确认 。 
使 程序 崩溃 并 不 总 是 我 们 的 目标 。 以 极端 的 输入 数据 来 测试 软件 并 使 
之 出 错 ， 这 很 有 意思 ， 但 更 有 意思 的 是 用 不 那么 极端 的 输入 ， 一 通 又 
一 遇 的 测试 用 以 模拟 真实 的 使 用 场景 ， 确 保 在 这 些 通用 条 件 下 ， 软 件 
的 运行 不 会 出 错 。 在 面试 时 我 们 会 寻找 这 种 正面 的 测试 观 。 

多 年 以 来 ， 我 们 尝试 了 儿 种 不 同 的 面试 风格 。 

按照 SET 的 要 求 来 面试 : 如 果 面 试 候选 人 足够 聪明 并 具有 创造 
性 ， 但 编程 能 力 不 达 标 ， 我 们 会 考虑 给 他 TE 的 岗位 。 这 也 导致 了 很 多 
问题 ， 例 如 测试 团队 中 形成 了 一 种 虚拟 层级 等 ， 最 糟糕 的 是 ， 这 种 错 
误 的 角 选 方式 导致 很 多 具有 用 户 中 心思 维 的 人 才 被 淘汰 ， 例 如 可 用 性 
和 端 到 端 方面 的 测试 高 手 。 

降低 编程 能 力 要 求 : 如 果 我 们 只 有 盯 着 以 用 户 为 中 心 的 测试 和 功能 
性 的 测试 ， 那 么 候选 人 的 规模 就 会 急剧 地 增 大 。 一 个 不 会 写 代 码 来 解 
决 Sudoku 题 目 或 者 优化 快 排 算法 的 候选 人 ， 也 许 会 具备 合格 的 测试 技 
能 。 这 可 能 会 帮助 我 们 招 到 更 多 的 TE， 但 在 他 们 加 入 公司 之 后 却 面临 
极 大 的 挑战 。 传 统 测 试 员 的 职业 发 展 ， 与 Google 工 程 师 群 体 的 编程 文 
化 和 以 计算 机 科学 为 中 心 的 技能 是 不 一 致 的 。 

混合 模型 : 今天 ， 我 们 的 面试 既 要 考察 一 般 的 计算 机 科学 和 技术 
技能 ， 也 要 考察 候选 人 的 测试 潜力 。 编 程 知识 是 必需 的 ， 但 只 限于 那 
些 完 成 前 述 TE 工作 需要 的 水 平 : 修改 而 非 创建 代码 、 设 计 端 到 端的 用 
户 使 用 场景 的 能 力 等 。 再 加 上 TE 工作 本 身 需 要 的 一 些 特定 的 能 力 ， 如 
沟通 、 系 统 级 别 的 理解 以 及 用 户 同 理 心 ， 这 样 一 来 既 可 以 满足 我 们 的 
招聘 条 件 ， 在 加 入 公司 后 也 能 得 到 发 展 和 晋升 。 

TE 的 招聘 比较 困难 ， 这 是 因为 他 们 需要 擅长 很 多 事情 ， 任 何 一 个 
表现 不 好 的 地 方 都 可 能 导致 面试 失败 。 他 们 是 万 能 博士 ， 其 中 最 强 的 
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通过 这 种 筛选 的 TE 能 够 适应 几乎 所 有 的 产品 和 和 角色， 从 构建 工 
具 、 接 洽 客户 、 到 路 团队 和 依赖 的 协调 等 ，TE 经 常 能 担当 领导 角色 ， 
因为 和 SET 相 比 ， 他 们 站 的 更 高 、 看 的 更 远 ， 能 够 理解 各 种 设计 问题 
和 风险 。 

随 着 产品 的 日 益 复 杂 化 ， 拥 有 比 google.com 更 多 的 用 户 界面 ， 
Google 已 经 建立 起 了 TE 的 层级 结构 。 现 在 ， 我 们 的 产品 影响 着 大 量 的 
用 户 ， 在 他 们 的 生活 中 发 挥 着 更 加 重要 的 作用 ， 因 此 ，TE 这 个 角色 在 
Google 文 化 中 愈 显 关键 。 


SET 和 TE 的 区 别 〈 作 者 : Jason Arbon) 


SET 和 TE 两 个 角色 相互 关联 ， 但 从 根本 上 来 讲 却 又 是 不 同 的。 两 
种 工作 我 都 曾经 做 过 ， 也 做 过 他 们 的 管理 者 。 检 查 下 面 这 个 列表 ， 看 
看 哪个 描述 更 适合 你 一 一 也 许 对 你 来 说 是 时 候 转 换 和 角色 了 。 

URE Rese T SET, AA: 

你 能 根据 一 个 规格 文档 ， 借 助 一 块 儿 日 板 ， 编 码 完 成 一 个 可 徘 而 
有 效 的 解决 方案 。 

你 编程 的 同时 ， 会 内 次 地 想到 还 有 很 多 单元 测试 用 例 没 有 完成 。 
随后 ， 你 又 会 考虑 各 种 生成 测试 代码 和 验证 的 方法 ， 而 不 是 手工 编写 
每 个 单元 测试 用 例 。 

你 认为 终端 用 户 吏 是 发 起 API 调 用 的 人 。 

你 会 在 看 到 一 份 写 的 很 住 的 API 文 档 时 ， 难 以 抑制 层 怒 之 情 ， 但 有 
Py SIS APIA SATE © 

你 发 现 上 自己 会 同 大 家 比赛 进行 代码 优化 ， 或 是 寻找 竞争 条 件 (race 
conditions) 。 


你 偏好 通过 IRC 或 者 代码 提交 中 的 注释 跟 他 人 沟通 。 


你 偏好 使 用 命令 行 而 不 是 图 形 用 户 界面 ， 很 少 碰 鼠标 。 

你 梦想 着 自己 的 代码 在 成 千 上 万 台 机 器 上 运行 ， 考 验 和 测试 各 种 
算法 一 一 通过 大 量 的 CPU 周期 和 网 络 报 文 来 证 明和 它们 的 正确 性 。 

你 从 未 注意 到 或 者 修改 过 桌面 背景 。 

看 到 编译 器 警告 时 会 焦 虚 不 安 。 

当 被 要 求 测试 一 个 产品 时 ， 你 会 打开 源码 ， 开 始 思 考 需 要 模拟 的 
东西 。 

你 心目 中 的 领导 力 是 : 建立 一 个 伟大 的 底层 单元 测试 框架 ， 供 所 
有 人 来 使 用 ， 或 者 在 测试 服务 右上 每 天 数 百 万 次 的 运行 。 

当 被 问 及 产品 是 否 可 以 上 线 时 ， 你 可 能 会 说 :“ 所 有 的 测试 都 通过 
Tee 
URE Rese — T TE, BURR 
你 能 够 在 已 有 的 代码 中 寻找 错误 ， 迅 速 理解 可 能 的 软件 失效 模 
式 ， 但 是 并 不 关心 从 头 编写 这 段 代 人 码 或 者 做 修改 。 

你 更 愿意 到 Slashdot 或 News.com 去 阅读 其 他 人 的 代码 。 

你 会 阅读 一 份 未 完成 的 产品 规格 说 明 书 ， 添 加 剩余 的 部 分 ， 完 成 


XI ° 
你 梦想 所 参与 的 产品 给 人 们 的 生活 带 来 巨大 的 影响 ， 人 们 认可 这 
PY am HB ° 


你 惊 骇 于 某 个 网 站 的 用 户 界 面 ， 怀 疑 它 怎么 可 能 会 有 用 户 。 

你 为 数据 的 可 视 化 感到 兴奋 不 已 。 

你 发 现 自己 很 乐意 在 现实 世界 里 跟 人 交流 。 

你 不 理解 为 什么 在 菏 个 文本 编辑 带 里 ， 必 须 得 先 输入 “i” 才 能 开始 
输入 文本 。 

你 心目 中 的 领导 力 是 : 扶助 其 他 工程 师 的 创意 ， 用 更 高 数量 级 规 
模 的 应 用 场景 来 挑战 他 们 的 创意 。 

当 被 询问 产品 是 否 可 以 上 线 时 ， 你 可 能 会 说 : “我 觉得 可 以 了 ”。 


测试 人 员 理 解 和 认同 自己 的 定位 ， 这 一 点 非常 重要 。TE 经 常 被 看 
做 是 不 怎么 写 代 码 的 SET。 事 实 是 ， 他 们 能 看 到 那些 整 天 埋头 于 代码 的 
人 绝 不 会 看 到 的 东西 。SET 也 应 该 意识 到 他 们 不 是 TE， 不 必 为 不 能 发 
现 用 户 界面 问题 、 不 能 从 系统 整体 或 竞争 者 产品 的 角度 思考 问题 而 感 
到 内 次 或 压力 ;SET 应 当 专 注 于 高 质量 的 、 可 测试 的 、 可 复 用 的 模 
块 ， 以 及 令 人 惊叹 的 自动 化 。 

一 个 令 人 赞叹 的 产品 背后 ， 总 有 一 个 构成 多 样 性 的 测试 团队 。 

面试 TE 

当 我 们 发 现 候 选 人 具备 合适 的 综合 型 技能 时 ， 就 会 邀请 他 们 来 参 
加 面试 。 我 们 经 常会 被 问 到 如 何 面试 一 个 TE。 实 际 上 ， 这 个 问题 也 是 
我 们 在 博客 中 和 公开 演讲 时 ， 收 到 的 最 普遍 的 一 个 问题 。 我 们 不 能 公 
开 全 部 问题 ， 但 是 愿意 在 这 里 分 享 其 中 的 一 部 分 (这 些 以 后 就 不 再 使 
用 了 ) ， 以 便 你 能 理解 我 们 的 思路 。 

一 开始 ， 我 们 考察 测试 资质 。 我 们 的 意图 在 于 ， 和 弄 清楚 候选 人 是 
否 不 只 是 聪明 和 具有 创造 性 ， 是 否 具有 天 生 的 测试 才能 。 我 们 寻找 的 
是 对 于 事物 结构 、 对 于 变量 和 配置 的 组 合 的 各 种 可 能 性 和 意义 的 好 奇 
心 。 我 们 寻找 的 是 关于 事物 应 该 如 何 工 作 的 强烈 感觉 ， 以 及 清晰 表达 
的 能 力 。 我 们 还 会 试图 寻找 很 强 的 人 格 魅 力 。 

这 里 的 要 点 是 ， 给 出 一 个 需要 各 种 输入 和 环境 条 件 的 测试 问题 ， 
请 候选 人 列举 出 最 有 意义 的 可 能 。 在 初级 题目 里 ， 我 们 可 能 会 请 候选 
人 测试 一 个 web 页 面 COLA 3.26) ， 上 面 有 一 个 文本 输入 框 ， 一 个 计 
数 (count) 按钮 ， 用 于 计算 一 个 文本 字符 串 中 大 写字 母 A 出 现 的 个 
数 。 这 里 的 问题 是 ， 请 设计 出 一 系列 字符 串 用 以 测试 这 个 Web 页 面 。 


7 - n & 
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f LJ A 
banana ( count a's | 


result: 3 


A 图 3.26 测试 问题 的 示例 UI 

一 些 候选 人 一 头 扎 进去 开始 就 立刻 开始 罗列 测试 用 例 ， 这 往往 是 
一 个 危险 的 信和 号， 说明 他 们 还 没有 充分 思考 这 个 问题 。 根 据 我 们 的 经 
验 ， 追 求 数量 而 非 质 量 的 倾向 ， 是 一 种 低 效 的 工作 方式 ， 因 此 会 给 负 
面 评价 。 通 过 观察 候选 人 在 找到 答案 之 前 思考 和 解决 问题 的 方式 ， 能 
了 解 他 们 很 多 东西 。 

更 好 的 是 那些 会 提出 一 些 问题 ， 来 做 进一步 澄清 的 候选 人 : 大 写 
还 是 小 写 ? 只 是 英语 吗 ? 计算 完成 后 文本 会 被 清除 吗 ?” 多 次 按 下 按钮 
会 发 生 什 么 事情 ? 诸如 此 类 。 

在 问题 被 澄清 之 后 ， 候 选 人 开始 列举 测试 用 例 。 重 点 观察 他 们 有 是 
否 使 用 一 些 疯狂 的 做 法 。 他 们 只 是 在 试图 破坏 软件 ， 还 是 同时 在 验证 
它 能 正常 工作 ? 他 们 知道 这 两 者 的 区 别 吗 ?他们 是 否 能 从 最 显而易见 
的 简单 的 输入 开始 ， 尽 快 地 发 现 大 bug? 他 们 能 清晰 地 列 出 测试 计划 或 
数据 吗 ? 在 白板 上 随机 摆 放 字符 串 不 能 反映 出 思路 的 清晰 性 ， 他 们 很 


可 


能 受 无 测试 计划 ， 或 者 只 有 很 粗糙 很 随意 的 测试 计划 。 一 个 典型 的 


列表 如 下。 


“banana”: 3 (一 个 合法 的 英文 字 ) ° 

“A” 和 “a”:， 1 (一 个 简单 的 有 正常 结果 的 合法 输入 ) 。 

o 0 (一 个 简单 的 结果 为 0 的 合法 输入 ) 。 

Null: 0 (简单 的 错误 输入 ) 。 

“AA” 和 “aa” 2 (个 数 >1 并 且 所 有 字母 都 是 A 的 输入 ) 。 

*b": 0 (一 个 简单 的 非 空 合法 输入 ， 结 果 是 0) e 

“aba”: 2 (目标 字符 出 现在 开头 和 结尾 ， 以 寻找 循环 边界 错误 ) 。 
“bab”: 1 (目标 字符 出 现在 中 间 ) 。 

space/tabs: N (空白 字符 与 N 个 A 的 混合 ) 。 

不 包含 A 的 长 字符 串 : N， 其 中 N>0。 

包含 A 的 长 字符 串 : N， 其 中 N 是 A 出 现 的 个 数 。 

X\nX 字 符 串 : N， 其 中 N 是 A 出 现 的 个 数 (格式 化 字符 ) c 
{java/C/HTML/JavaScript}: N， 其 中 N 是 A 出 现 的 个 数 (可 执行 字 


， 或 错误 ， 或 偶然 的 代码 解释 ) 。 


无 论 丢 失 上 述 测 试 中 的 哪 几 个 都 古 一 个 不 好 的 征兆 。 
更 好 的 候选 人 会 超越 输入 选择 ， 讨 论 更 加 高 级 的 测试 问题 。 他 们 


可 能 会 做 以 下 的 事情 。 


吗 ? 


质疑 界面 的 外 观 、 调 色 板 和 对 比 度 。 如 “这 些 与 相关 应 用 风格 一 至 
^. “视力 困难 的 人 能 使 用 吗 ? "SE e 

担心 文本 框 太 小 了 ， 建 议 加 长 以 便 显 示 更 长 的 输入 字符 串 。 

考虑 这 个 应 用 能 人 否 在 同一 台 服 务 夯 上 运行 多 个 实例 。 会 发 生 多 个 


用 户 的 串扰 吗 ? 


提出 疑问 “数据 会 被 记录 吗 ”， 输 入 串 可 能 包含 地 址 或 其 他 身份 信 


建议 使 用 真实 数据 进行 自动 化 测试 ， 如 从 词典 或 书本 里 选择 。 


提出 疑问 , “计算 足够 快 吗 ? 在 大 负载 下 呢 ? ” 

提出 疑问 , “该 页 是 可 发 现 的 吗 ? 用 户 怎么 能 找到 该 页 面 ? ” 

输入 HIML 和 JavaScript， 看 是 否 会 破坏 页 面 泻 染 。 

询问 是 对 大 写 还 是 小 写 的 A 计 数 ， 还 是 都 包括 。 
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还 有 一 些 想法 更 加 高 级 ， 反 映 了 定 有 经 验 的 、 宝 贵 的 测试 思维 ， 
能 够 比 问 题 走 的 更 远 。 他 们 可 能 会 这 样 做 。 

意识 到 计算 会 通过 URL-encoded HTTP GET 请 求 传 递 到 服务 器 ， 字 
符 串 可 能 会 在 穿越 网 络 时 被 和 截断。 因此， 无 法 保证 支持 多 长 的 URL 。 

建议 将 此 应 用 参数 化 。 为 何 只 对 字母 A 计 数 呢 ? 

考虑 计算 其 他 语言 中 的 A (如 埃 A 或 变 音符 号 ) 。 

考虑 该 应 用 是 否 可 以 被 国际 化 。 

考虑 编写 脚本 或 者 手工 采样 来 探知 字符 串 长 度 的 上 限 (例如 ， 通 
过 2 的 指数 递 进 算法 ) ， 然 后 确保 在 此 区 间 内 功能 正常 。 

考虑 背后 的 实现 和 人 代码。 也许 有 一 个 计数 器 遇 历 该 字符 串 ， 另 外 
一 个 跟踪 已 经 过 到 了 多 少 个 A (累加 器 。 因 此 ， 可 以 在 边界 值 附近 变 
化 A 的 个 数 和 字符 串 的 长 度 来 进行 测试 。 

提出 疑问 ，“HTTP POST 方 法 和 参数 会 被 黑 掉 吗 ? 也 许 有 安全 漏 
ij? ” 

用 脚本 创建 各 种 有 趣 的 排列 组 合 和 字符 串 特 性 如 长 度 、A 的 个 数 等 
的 组 合 ， 自 动 生 成 测试 输入 和 验证 。 

了 解 候 克 人 使 用 多 长 的 字符 串 做 为 测试 用 例 ， 这 通常 能 暗示 他 们 
工作 时 的 表现 。 如 果 候 选 人 只 是 一 般 性 的 知道 使 用 “长 字符 串 ”( 最 常 
见 的 答案 ) ， 但 却 无 法 就 特定 场景 进行 技术 性 的 分 析 ， 这 是 一 种 糟糕 
的 迹象 。 更 仅 技 术 的 候选 人 ， 会 询问 字符 串 的 规格 说 明 ， 进 而 围绕 极 
限 点 进行 边界 值 测 试 。 例 如 ， 当 极限 点 是 1000 的 时 候 ， 他 们 会 尝试 
999、1000 和 1001。 最 好 的 候选 人 还 会 尝试 2^*32， 以 及 许多 其 他 有 趣 的 


值 ， 例 如 2 和 10 的 次 方 。 重 点 在 于 候选 人 表现 出 对 真正 重要 的 数字 值 的 
理解 ， 而 不 只 是 使 用 随机 数值 一 一 他 们 需要 对 的 层 的 算法 、 语 言 、 运 
行 时 和 硬件 都 有 所 了 解 ， 因 为 这 些 正 是 错误 最 经 党 出 现 的 地 方 。 他 们 
还 应 当 基 于 可 能 的 实现 细节 莹 试 不 同 的 长 度 ， 并 考虑 到 计数 器 、 指 针 
及 循环 的 边界 错误 。 最 优秀 的 候选 人 还 会 意识 到 系统 可 能 是 有 状态 
的 ， 测 弃 必 须 将 移 前 的 输入 考虑 在 内 。 因 此 ， 多 次 输入 同一 字符 串 ， 
或 者 在 长 度 为 1000 的 字符 串 之 后 输入 一 个 长 度 为 0 的 ， 这 些 束 属于 重要 
的 使 用 情形 。 

面试 时 试图 考察 的 另外 一 个 关键 特征 ， 是 TE 所 需要 具备 的 处 理 模 
糊 性 、 反 级 粳 糕 想法 的 能 力 。 我 们 通 利 会 更 改 规格 说 明 或 者 摘 述 一 个 
说 不 通 的 行为 ， 只 要 候选 人 提出 澄清 性 的 问题 融会 发 现 这 一 点 。 他 们 
如 何 处 理 这 种 模糊 性 ， 很 大 程度 上 反映 了 他 们 将 来 在 工作 上 的 表现 。 
在 Google， 鉴 于 快 节 忌 的 发 布 周期 ， 规 格 说 明 经 闻 杰 来 变 去 ， 可 以 有 
不 同 的 理解 和 修改 。 如 果 候 选 人 能 指出 “5 个 字符 的 最 大 长 度 ” 这 种 描述 
征 有 点 奇怪 的 ， 有 可 能 会 使 用 户 感到 疑惑 ， 这 正 反 映 了 他 们 能 从 用 户 
角度 思考 。 如 果 候 选 人 不 假 思 索 地 接受 了 这 个 描述 并 匆忙 动手 ， 那 他 
们 在 实际 工作 中 也 很 有 可 能 如 此 ， 结 果 是 白费 力气 验证 了 错误 的 行 
为 。 那 些 能 反驳 或 者 质疑 规格 说 明 的 候选 人 ， 往 往 在 工作 中 有 优异 的 
表现 。 当 然 ， 也 要 注意 反驳 或 者 质疑 的 方式 。 

TE 面 试 的 最 后 一 环 是 看 候选 人 是 否 具 有 “Google 味 儿 ”。 我 们 需要 
的 是 有 好 奇 心 、 充 满 热情 的 工程 师 ， 他 们 不 会 满足 于 简单 完成 被 分 派 
的 工作 ， 而 古 会 进一步 探索 各 种 可 能 性 ， 壬 试 工作 接 述 之 外 的 东西 。 
工作 职责 目 然 要 完成 ,但 是 生活 和 工作 的 意义 在 于 最 大 限度 地 对 外 部 
世界 产生 影响 。 我 们 需要 的 是 那些 与 现实 世界 和 计算 机 科学 团体 紧 穴 
联系 的 人 ， 例 如 给 开源 项 目 开 bug 的 人 ， 或 者 通用 化 自己 的 工作 以 提高 
复 用 性 的 人 。 我 们 需要 的 是 能 够 与 其 他 人 和 了 肤 相 处 、 合 作 愉 快 的 人 ， 
征 能 够 影响 Google 文 化 的 人 。 我 们 需要 的 是 愿意 持续 学 习 和 成 长 的 


人 。 我 们 也 需要 那些 带 来 新 鲜 思 想 和 经 验 的 人 ， 他 们 丰富 了 Google 的 
人 才 库 。Google 的 座右铭 是 “不 作恶 ”， 我 们 布 望 他 们 在 看 到 问题 时 能 
言 不 讳 。 

参加 大 型 技术 公司 的 面试 是 一 件 令 人 害怕 的 事情 ， 对 我 们 目 己 而 
言 亦 然 。 很 多 人 无 法 一 次 过 关 ， 而 是 需要 多 次 练习 。 严 酷 的 面试 并 非 
我 们 的 本 意 ; 我 们 的 目的 是 确保 找到 合适 的 、 能 发 挥 作用 的 、 将 来 能 
胜任 工作 顺利 成 长 的 人 。 面 试 必 须 有 益 于 公司 和 候选 人 双方 。 跟 大 多 
数 员工 众多 却 立 志 于 保持 小 公司 感觉 的 公司 一 样 ，Google 的 原则 是 宁 
缺 勿 滥 。 我 们 希望 Google 成 为 大 家 愿意 为 之 工作 多 年 的 一 个 公司 。 为 
了 这 个 目标 ， 招 聘 合适 的 员工 是 最 好 的 办 法 。 


3.2.6 Google 的 测试 领导 和 管理 工作 


大 家 有 时 候 开 玩笑 说 我 们 只 擅长 管理 技术 一 流 、 工 作 积极 、 独 立 
目 主 的 工程 师 。 事 实 上 ， 在 Google 管 理 TE 训 不 轻松 。 问 题 在 于 如 何 激 
励 ， 而 非 指 令 ， 在 于 保持 凝聚 力 和 一 致 性 ， 同 时 又 要 鼓励 创新 和 实 
验 ， 信 任 大 家 尽 可 能 目 己 做 出 正确 的 决定 。 这 实际 上 是 一 件 很 困难 的 
事情 。 

在 Google 领 导 和 管理 测试 人 员 与 其 他 公司 情形 杀 异 ， 原因 在 于 如 
下 几 种 因素 : 如 此 之 少 的 测试 人 员 、 招 聘 高 手 、 对 于 多 样 性 和 独立 性 
的 适当 的 尊重 。Google 的 测试 管理 更 多 的 是 激励 ， 而 非 强 悍 的 管理 ; 
更 多 的 是 战略 指引 ， 而 非 频繁 的 督促 检查 〈 每 天 、 每 周 等 ) 。 这 样 一 
来 ， 和 其 他 我 们 曾经 工作 的 地 方 相 比 ，Google 的 工程 管理 就 处 于 一 种 
开放 式 的 、 灵 活 的 、 经 第 更 加 复 洒 的 处 境 。Google 管 理 的 核心 古 领 导 
力 和 洞察 力 、 协 商 、 外 部 沟通 、 技 术 水 平 、 战 略 规划 、 招 聘 和 面试 、 
完成 团队 绩效 考核 。 
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监 、 经 理 和 其 他 领导 者 都 必须 在 充分 信任 工程 师 和 确保 他 们 不 会 发 生 
重大 事故 或 当 费 时 间 之 间 寻 找平 衡 。Google 专 注 于 投资 大 型 的 、 战 略 
性 的 方案 去 解决 大 问题 ， 经 理 们 有 责任 去 避免 开发 重复 的 测试 框架 、 
或 是 过 多 的 投入 在 小 型 测试 上 ， 而 应 该 癌 励 宇 贵 的 工程 师资 源 用 于 更 
大 型 的 测试 执行 和 基础 平台 的 建设 。 倘 奉 没 有 这 种 监督 ， 只 徘 个 人 或 
是 20% 的 目 由 时 间 ， 很 多 测试 工程 项 目 经 币 会 半途 而 废 、 徙 画 无 功 。 


海盗 领导 力 (作者 : Jason Arbon) 


Google 管 理 测 弃 工程 团队 的 方式 ， 可 以 用 海盗 船 来 做 类 比 。 测 试 
组 织 里 的 工程 师 的 天 性 束 是 质疑 、 要 求 确 定性 的 数据 、 不 断 评 佑 主管 
或 经 理 的 指令 。 我 们 面试 时 的 一 个 关键 要 求 束 古 目 主 驱 动 、 目 主 定 癌 
一 一 那么 如 何 来 管理 这 些 人 呢 ? 

要 找到 管 案 ， 不 妨 去 想象 一 个 海盗 船 的 船长 是 如 何 维 持 秩 序 的 。 
事实 是 ， 船 长 无 法 通过 强力 或 者 恐惧 来 “管理 "这 群 人 ， 因 为 他 们 都 武 
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作为 一 个 工程 主管 ， 意 味 着 你 自己 就 是 一 个 海盗 工程 师 。 和 别 的 
估 相 比 人 不 过 且 各 做 更 加 浓 笔 地 平 线 卡 央 什么 “附近 有 什么 由“ E 
们 可 能 载 着 什么 珍宝 。 要 靠 技 术 洞 察 力 、 令 人 兴奋 的 技术 冒险 、 有 趣 
的 停靠 港口 来 带领 团队 。 在 Google， 工 程 经 理 即 便 在 睡觉 时 都 得 睁 着 
一 只 有 眼睛。 


Google 有 几 种 不 同类 型 的 主管 和 经 理 : 技术 负责 人 (tech lead) ^ 
技术 主管 (tech lead manager) 、 工 程 经 理 (engineering manager) 和 总 
Wi (director) ° 

技术 负责 人 (techlead) : 测试 技术 负责 人 出 现在 大 型 项 目的 大 型 
团队 里 ， 里 面 有 大 量 的 SET 和 TE， 他 们 参与 解决 共同 的 技术 问题 或 是 
共享 相同 的 基础 平台 。 他 们 一 般 不 会 管 人 。 技 术 负 责 人 还 会 出 现在 负 
责 构建 产品 无 关 的 基础 平台 的 团队 里 。 他 们 是 当 你 遇 到 技术 或 测试 问 
题 时 要 求助 的 人 。 这 个 角色 经 名 是 基于 团队 动态 变化 的 、 非 正式 的 ， 
与 特定 的 项 目 相 联 系 。 

技术 主管 (tech lead manager, TLM) : 当 技 术 负责 人 同时 也 被 
正式 任命 为 相关 工程 师 的 经 理 时 ， 束 被 称 为 技术 主管 。 这 些 人 一 般 德 
高 望 重 、 能 力 卓 著 。 他 们 通常 在 同一 时 间 只 关注 一 个 项 目 。 

测试 工程 经 理 (test engineering manager) : 工程 经 理 监 督 跨 团 队 
的 技术 工作 ， 几 乎 没有 例外 ， 都 是 一 级 一 级 亚 升 上 来 的 。 这 一 职位 大 
致 等 同 于 业界 所 谓 的 测试 经 理 ， 但 其 职责 广度 往往 类 似 于 许多 其 他 公 
司 的 总 监 ， 这 是 由 Google 项 目 中 测试 资源 的 稀缺 性 决定 的 。 工 程 经理 
通常 管理 12~35 人 ， 具 体 数量 取决 于 工作 的 复杂 性 。 他 们 负责 共享 路 
团队 的 工具 和 流程 ， 根 据 风险 评估 安排 资源 ， 并 指导 招聘 和 面试 。 

测试 总 监 (test director) : 测试 总 监 数量 很 少 ， 他 们 会 带 若 干 测 
试 工程 经 理 、 跨 几 个 产品 线 ， 负 责 整 体 的 测试 工作 ， 推 动 战 略 性 的 、 
有 时 是 转型 性 的 拉 术 架构 或 测试 方法 的 实施 。 他 们 的 天 注 点 在 于 怎样 
通过 质量 和 测试 去 帮助 业务 (粗略 的 成 本 分 析 、 收 益 分 析 等 ) ， 并 经 
常 抛 头 露面 参与 业界 同行 的 交流 和 分 享 。 测 斌 总监 一 般 有 40 一 70 名 下 
属 。 这 一 角色 的 设置 基本 上 与 大 部 门 或 技术 划分 一 致 ， 如 Client ` 
Apps、Ads 等 。 

资深 测试 总 监 (senior test director) : 只 有 一 个 ， 就 是 Pat 
Copeland， 他 负责 保证 公司 层面 的 统一 的 职责 描述 、 招 聘 、 外 部 沟通 和 


总 的 测试 战略 。 他 上 日常 的 工作 包括 分 享 最 佳 实践 ， 建 立 和 推动 新 的 大 
动作 如 全 局 构建 、 测 试 基础 平台 、 静 态 分 析 ， 以 及 跨越 不 同 产品 、 用 
户 问 题 和 代码 库 的 测试 活动 。 

大 多 数 的 Google 测试 人 员 都 要 参与 对 外 的 招聘 和 面试 ， 尤 其 是 总 
监 和 高 级 总 监 。 在 Google 面 试 中 也 会 发 生 一 些 问 题 。 很 多 工程 师 已 经 
对 Google、Google 的 技术 、Google 优 越 的 工作 环境 等 顺 有 耳闻 了， 他 们 
经 党 会 在 面试 过 程 中 表现 得 过 度 紧 张 而 导致 面试 失败 。 通 常 ， 优 秀 的 
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的 竞争 更 加 激烈 。 要 打消 这 些 担心 ， 最 好 的 办 法 是 告诉 他 们 正在 和 谁 
谈话 。Google 工 程 师 个 人 能 力 强 、 积 极 性 高 ， 但 是 ， 工 作 的 乐趣 和 产 
品 的 巨大 影响 力 ， 很 大 程度 上 产生 于 一 群 志 趣 相 投 的 工程 师 的 彼此 协 
作 ， 在 强大 的 基础 计算 架构 上 成 就 神奇 。 

除 此 之 外 还 有 很 多 内 部 招聘 。Google 辟 励 工 程 师 去 更 换 项 目 或 跨 
团队 调动 。 内 部 招聘 主要 是 交流 各 自 项 目的 情况 和 团队 氛围 。 绝 大 多 
数 的 内 部 招聘 发 生 在 工程 师 之 间 ， 他 们 会 聊 聊 有 意思 的 项 目 、 技 术 问 
题 ， 以 及 对 目前 所 在 测试 、 开 发 或 项 目 经 理 团队 的 满意 度 。 偶 尔 会 
半 正 式 的 安排 ， 组 织 一 些 需 要 人 的 团队 来 介绍 他 们 的 工作 ; 但 主要 还 
是 自发 进行 的 一 一 允许 人 们 自由 流动 到 他 们 感 兴趣 和 能 实现 最 大 价值 
的 地 方 。 

技术 型 : 测试 经 理 、 尤 其 是 测试 主管 的 定位 是 技术 型 人 才 。 他 们 
应 该 会 编写 代码 、 评 审 代 码 ， 并 且 总 应 该 比 团队 的 其 他 人 更 懂 产 品 和 
客户 。 

协商 : 不 可 能 什么 都 测 ， 测 试 无 止境 。 面 对 经 常 性 的 资源 申请 和 
其 他 要 求 ， 工 程 经 理 和 总 监 需 要 掌握 拒绝 的 艺术 、 以 理 服 人 

(politelsano with great reasoning) 。 

外 部 沟通 : 测试 管理 层 还 要 经 常安 排外 包 测 试 事宜 ， 组 织 与 外 部 

同行 的 交流 ， 例 如 GTAC (Google Test Automation Conference, Google 


测试 自动 化 大 会 ) ， 以 及 面向 更 大 的 社区 建立 论坛 ， 用 于 测试 工程 问 
题 的 讨论 和 分 享 等 。 

战略 性 举措 : 测试 主管 和 经 理 经 常会 问 自己 ， 有 哪些 事情 别人 做 
不 了 但 我 们 能 做 ? 如 何 扩展 和 共享 我 们 的 测试 架构 来 帮助 大 家 ， 携 手 
共 创 更 美好 的 互联 网 ? 如 果 合 并 资源 ， 投 资 长 期 的 赌注 会 怎么 样 ? 文 
持 这 些 战略 性 举措 需要 业务 和 技术 上 的 洞察 力 、 需 要 经 费 预算 、 需 要 
顶 住 其 他 工作 对 测试 资源 的 竞争 ， 这 确实 得 是 一 份 全 职 的 工作 。 

绩效 考评 : Google 的 绩效 考评 综合 了 同事 反馈 和 由 主管 、 经 理 推 
动 的 跨 团 队 比照 ， 每 季度 一 次 。 重 点 是 你 最 近 做 了 什么 事情 ? 在 质量 
和 效率 上 、 对 用 户 而 言 产 生 了 什么 影响 ? 考评 系统 不 会 让 大 家 堆砌 之 
前 的 工作 。 整 套 机 制 没 有 完全 公开 ， 而 且 经 常会 进行 实验 和 发 生变 
动 ， 因 此 文档 也 没什么 大 作用 。 基 本 上 就 是 个 人 提交 一 份 简短 的 描 
述 ， 讲 一 下 自己 做 的 东西 ， 做 一 个 自我 评价 。 然 后 同事 和 经 理发 表意 
见 ， 独 立 委 员 会 组 织 会 议 进 行踪 团队 的 比照 ， 给 出 一 个 评价 结果 。 重 
要 的 一 点 是 Googler 应 该 制定 比 预期 能 力 更 高 的 目标 (set goals higher 
than thethink possible) 。 如 果 一 个 人 达到 了 他 的 所 有 目标 ， 那 说 明 他 的 
目标 还 不 够 高 。 

Google 考 评 和 绩效 管理 的 部 分 目标 ， 是 发 现 或 鼓励 员工 跨 岗 位 流 
动 ， 如 果 这 么 做 对 员工 有 好 处 的 话 。 在 Google， 员 工 可 以 频繁 地 在 各 
种 职位 之 间 转 岗 。TE 到 SET、SET 到 SWE 是 最 为 常见 的 ， 因 为 工程 师 
会 追求 他 们 的 技术 兴趣 和 专业 特长 。 从 SET 到 TE、TE 到 PM 是 第 二 常见 
的 ， 因 为 人 们 也 会 追求 技能 上 的 扩展 和 编码 之 外 的 新 鲜 感 。 

经 理 还 会 帮助 团队 成 员 设 定 季 度 和 年 度 的 OKRs (OKR 代表 
Objectives and Key Results， 即 目标 和 关键 结 有 末 。OKR 不 过 是 列 出 目标 
并 指出 如 何 衡量 目标 是 否 成 功 的 好 听 的 说 法 。 在 Google， 我 们 关注 可 
衡量 的 指标 。 达 到 70% 意 味 着 你 可 能 设 定 了 较 高 的 目标 ， 然 后 努力 工作 
去 实现 它 。 达 到 1009% 意 味 着 你 可 能 在 设 定 目标 时 不 够 有 进取 心 ) 。 他 
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标 ， 即 使 不 必 或 可 能 不 会 达成 ， 这 些 目标 仍 能 起 到 促进 在 做 计划 时 力 
争 上 游 的 作用 。 经 理 还 要 确保 在 这 些 目标 中 ，TE 和 SET 的 个 人 能 力 和 
兴趣 与 项 目 和 业务 需要 之 间 是 一 致 的 。 

作为 测试 领导 层 ， 经 常 需 要 妥协 ， 并 能 尊重 个 体 SET 和 TE 的 聪明 
才智 。Google 领 导 和 管理 的 一 个 标志 是 辅导 和 指导 (mentoring and 
guiding) 下 属 工 作 ， 而 不 是 直接 下 命令 (dictating) 。 


3.2.7 维护 模式 的 测试 (Maintenance Mode Testing) - 


Google 一 加 以 尽早 交付 、 经 名 交付 、 尽 快 失败 (shipping early and 
often, and failing fast) 闻名 于 世 。 资 源 也 会 冲 向 那些 最 高 风险 的 项 
目 。 对 TE 而 言 ， 这 意味 着 某 些 特性 、 其 至 是 整个 项 目 被 降低 优先 级 或 
者 完全 放弃 。 这 种 事情 经 常 在 你 已 经 搞 清 楚 了 测试 某 个 特定 软件 的 困 
难 ， 或 者 刚 把 一 件 事情 置 于 控制 之 下 时 发 生 。Google 的 TE 必须 做 好 准 
备 ， 知 道 如 何在 技术 和 感情 上 面 对 这 种 情形 。 这 并 不 可 怕 ， 但 是 如 果 
不 严肃 对 待 ， 可 能 会 造成 很 大 的 风险 和 浪费 。 


维护 模式 示例 : Google Desktop (作者 : Jason Arbon) 


我 曾 被 任命 去 负责 Google Desktop 的 测试 ， 这 是 一 个 艰巨 的 任务 ， 
因为 Google Desktop 是 一 个 有 着 几 千 万 用 户 、 兼 有 客户 端 和 服务 器 端 组 
件 、 并 与 Google 搜 索 集 成 在 一 起 的 应 用 。 在 我 负责 之 前 ， 已 经 有 许多 
测试 主管 曾 领导 过 这 个 项 目 ， 肥 无 例外 地 遗留 了 一 些 质 量 问题 和 其 他 
问题 。 项 目 很 大 ,但 跟 多 数 大 项 目 一 样 ， 新 特性 开发 的 节奏 已 经 放 
慢 ， 经 过 了 好 几 年 的 测试 和 使 用 ， 风 险 也 已 大 为 降低 。 

当 我 与 其 他 两 名 同事 空降 到 这 个 项 目的 时 候 ，Google Desktop 有 大 
约 2500 个 测试 用 例 ， 它 们 保存 在 老 的 TestScribe 测 试用 例 管理 (TCM) 


系统 里 ， 在 Hyderabad 办 公 室 有 几 个 聪明 勤 理 的 外 包 人 员 ， 负 责 在 每 次 
发 布 前 执行 这 些 测 试用 例 。 一 个 测试 周期 经 常 达到 一 周 甚至 更 长 。 之 
前 有 过 一 些 演 试 ， 试 图 通过 UI 和 可 访问 性 钩子 (accessibility hook) 进 
行 目 动 化 ， 但 是 最 终 都 迫 于 问题 的 复 洒 性 和 成 本 而 失败 了 。 很 难 通过 
C++ 代 码 同时 驱动 Web 页 面 和 桌面 视窗 UI， 此 外 ， 超 时 问题 也 不 断 地 
发 生 。 

另外 两 个 测试 同事 是 Tejas Shah 和 Mike Meade ° 7EGoogle, ASEH 
没有 多 少 资 源 会 投入 在 客户 端 应 用 的 测试 上 。 那 时 ， 大 量 的 Google 产 
品 已 经 Web 化 ， 或 者 很 快 就 要 Web 化 。 因 此 我 们 决定 采用 一 个 Python 
测试 框架 ， 此 框架 之 前 是 由 Google Talk Labs Edition 开 发 的 ， 通 过 Web 
DOM 了 驱动 产品 。 这 个 框架 具有 基本 元 素 ， 例 如 一 个 继承 目 PyUnit 的 测 
试用 例 类 。 由 于 许多 TE 和 开发 都 愉 Python， 因 此 在 发 生 问 题 时 很 容易 
找到 能 帮忙 的 人 。 一 旦 需要 ， 我 们 很 容易 就 能 从 这 个 项 目 脱身 。 此 
外 ，Python 在 大 代 式 开发 很 小 的 代码 块 时 ， 速 度 奇 快 ， 而 且 已 经 默认 安 
装 在 所 有 机 絮 上 。 这 样 ， 只 需 一 个 命令 行 束 能 完成 整个 测试 集 的 部 
o 

最 终 ， 我 们 决定 完整 地 扩展 这 个 Python API 来 驱动 产品 ， 我 们 使 用 
ctypes 驱 动 客 户 端 搜索 的 COM API， 模 拟 服务 器 端的 啊 应 来 将 本 地 结 
注入 到 google.com 的 结果 之 中 (这 可 不 简单 ) ， 使 用 多 个 用 户 库 函 数 ， 
并 控制 数据 抓 取 。 我 们 还 实现 了 虚 机 上 自动 化 (virtual machine 
automation) 来 支持 那些 需要 Google Desktop 索 引 的 测试 。 在 没有 这 个 
文 持 的 时 候 ， 每 完成 一 次 新 的 安装 ， 就 要 花 几 个 小 时 的 时 间 去 重建 索 
引 。 我 们 建立 了 一 个 小 型 的 、 自 动 化 的 冒 烟 测试 集 来 覆盖 高 优先 级 的 
功能 。 

接着 ， 我 们 分 析 了 这 2500 个 遗留 的 测试 用 例 。 其 中 的 很 多 用 例 难 
以 理解 ， 不 是 引用 了 项 目 早期 的 原型 或 已 经 不 存在 的 特性 中 的 上 暗语， 
束 是 对 机 咽 的 上 下 文 和 状态 有 太 多 的 假设 。 不 垃 的 是 ， 这 些 知 识 只 是 


存在 于 Hyderabad 外 包 人 员 的 脑袋 里 ， 并 没有 什么 文档 。 想 想 我 们 需 
要 快速 验证 一 个 突 发 而 至 的 带 安全 补丁 的 版 本 ， 这 太 粳 糕 了 ， 同 时 也 
非 党 昂贵。 因此， 我 们 勇敢 地 人 研究 了 所 有 2500 个 测试 用 例 ， 基 于 目 己 
对 产品 的 认识 保留 了 其 中 最 重要 的 和 最 有 意义 的 用 例 ， 丢 掉 了 其 他 绝 
大 部 分 用 例 ， 最 后 只 剩 下 大 概 150 人 个， 用例 数 量 减 少 了 一 个 数量 级 。 我 
们 跟 外 包 人 员 一 起 修改 了 剩 下 的 手工 测试 用 例 的 摘 述 ， 使 所 有 测试 步 
骤 足 够 的 详细 和 清楚 ， 任 何 用 过 一 小 会 儿 Google Desktop 人 都 可 以 运 
行 。 我 们 可 不 想 成 为 将 来 唯一 能 跑 这 些 回归 测试 的 人 。 

到 现在 ， 我 们 有 了 目 动 化 的 测试 用 例 来 对 每 个 版 本 进行 回归 测 
试 ， 以 及 任何 人 一 下 午 束 可 以 执行 完毕 的 手工 测 斌 用例。 同时， 这 也 
解放 了 外 包 人 员 ， 使 得 他 们 可 以 做 其 他 具有 更 高 价值 的 事情 了 ， 既 降 
低 了 成 本 ， 又 缩短 了 交付 周期 。 

大 概 是 那个 时 候 ，Chrome 项 目 开 始 了 ， 并 被 视 为 未 来 Google 客 
户 端 服务 的 方向 。 此 时 ， 我 们 正 处 于 要 收获 的 季 季 ， 丰 宣 的 目 动 化 API 
测试 带 来 的 好 处 细 露 头角 ， 与 此 同时 ， 目 动 生成 的 、 长 期 运行 的 测试 
用 例 也 在 建立 之 中 。 但 也 就 在 此 时 ， 我 们 被 要 求 迅速 将 资源 投入 到 
Chrome? migs P ° 

有 了 自动 化 回归 测试 用 例 来 检查 每 个 内 部 和 公开 版 本 ， 以 及 超级 
轻 量 级 的 手工 测试 用 例 ，Desktop 进 入 维护 模式 的 时 机 已 经 成 熟 ， 是 时 
候 把 精力 转移 到 不 稳定 和 有 风险 的 Chrome 项 目 中 了 。 

但 是 ， 对 我 们 而 言 ， 那 时 还 有 一 个 烦人 的 bug 在 论坛 里 不 断 出 现 ; 
一 部 分 用 户 ， 在 使 用 Google Desktop 的 若干 版 本 时 ， 发 现 它 会 占 满 硬盘 
空间 。 由 于 难以 重 现 ， 这 个 问题 被 不 断 拖延 。 我 们 通过 社区 经 理 

(Community Manager) 得 到 了 更 多 客户 的 机 器 信息 ， 但 仍然 无 法 定位 
问题 。 我 们 担心 这 会 影响 越 来 越 多 的 用 户 ， 倘 无 专人 投入 ， 这 个 问题 
孜 介 永远 不 会 得 到 解决 ， 或 者 在 最 后 必须 要 解决 的 时 候 会 非常 的 麻 
烦 。 因 此 ， 我 们 在 撤离 之 前 进行 了 深入 的 调查 。 测 试 团队 不 断 督 促 PM 


和 开发 介入 ,甚至 从 外 地 请 回 了 一 个 原来 人 负责 索引 代码 的 开发 。 最 后 
还 是 这 个 开发 找到 了 问题 所 在 ， 他 注意 到 如 有 果 用 户 安装 了 Outlook， 
Desktop 就 会 不 断 重建 索引 ， 索 引 代 码 每 次 扫描 都 错误 地 把 每 一 个 老 的 
条 目 当 做 新 的 ， 很 缓慢 但 却 稳定 地 吃 掉 了 硬盘 空间 ， 这 只 会 发 生 在 那 
些 使 用 了 Outlook 的 任务 特性 的 用 户 身 上 。 因 为 索引 的 上 限 是 2GB， 所 
以 暴露 问题 的 时 间 需 要 很 入 ， 用 户 只 会 注意 到 最 新 的 文档 没有 被 索 
引 。 但 是 ， 负 责任 的 研发 过 程 使 得 问题 得 到 了 发 现 和 修复 。 最 新 版 本 
的 Desktop 修 复 了 这 一 间 题 因此 在 交付 之 后 的 6~12 个 月 的 时 间 里 ， 不 
再 有 法 在 的 问题 发 生 。 

我 们 还 对 一 个 功能 设置 了 定时 下 线 ， 提 醒 用 户 这 个 特性 将 会 消 
失 。 我 们 还 简化 了 实现 机 制 ， 使 它 更 加 可 靠 。 测 试 团 队 建议 放弃 原 有 
的 联系 服务 器 读 取 特性 何 时 关闭 的 标志 变量 的 方法 ， 而 是 使 用 一 种 更 
可 靠 的 只 涉及 客户 端的 方法 。 这 样 做 避免 了 发 布 一 个 不 这 该 特性 的 版 
本 的 工作 ， 还 通过 简化 设计 使 该 特性 更 加 稳健 。 

我 们 编写 了 一 份 简短 的 how-to 文 要 ， 描 述 如 何 执行 自动 化 和 手工 测 
试 〈 一 个 小 发 布 只 需要 一 个 外 包 几 个 小 时 的 时 间 ) ， 确 定 了 一 个 能 随 
叫 随 到 的 外 包 ， 然 后 就 把 测试 重点 转向 Chrome 和 云 项 目 了 。 接 下 来 的 
发 布 非常 地 顺利 。 那 些 自动 化 的 测试 直到 今天 还 在 运行 。Desktop 客 户 
还 在 很 活跃 地 使 用 这 个 产品 。 

在 把 一 个 项 目 置 于 质量 维护 模式 的 时 候 ， 我 们 需要 减少 保持 质量 
所 需 的 人 工 干预 的 比重 。 关 于 代码 的 一 个 有 趣 之 处 是 它 会 随 着 时 间 的 
aa 坏 、 出 错 。 这 同时 适用 于 产品 代码 和 测试 代码 。 维 护 模式 

， 大 部 分 工作 是 监控 质量 ， 而 不 是 寻找 新 问题 。 万 物 丝 然 ， 当 一 个 
它 的 测试 总 不 是 最 精简 和 优化 的 。 因 此 ， 后 来 的 测 
试 人 员 有 必要 给 测试 瘦 映 。 

在 淘汰 手工 测试 用 例 的 时 候 ， 我 们 使 用 如 下 指导 方针 。 


总 是 通过 的 测试 ， 淘 汰 ! 在 高 优先 级 的 测试 都 来 不 及 做 的 时 候 ， 
低 优 先 级 的 测试 ， 淘 汰 ! 

确保 正确 理解 即将 被 淘汰 的 测试 用 例 。 从 即将 淘汰 的 领域 里 ， 挑 
选 几 个 有 代表 性 的 测试 。 如 果 可 能 就 与 原作 者 聊 一 聊 ， 理 解 其 意图 ， 
避免 失误 。 

我 们 把 释放 出 来 的 时 间 用 于 测试 自动 化 、 高 优先 级 的 测试 或 探索 
式 测 试 。 

我 们 还 会 抛弃 之 前 可 能 发 生 过 误 报 或 者 行为 反常 的 自动 化 测试 
一 一 它们 只 会 发 出 错误 警报 ， 浪 费 工程 师 的 时 间 。 

下 面 是 在 进入 维护 模式 前 要 考虑 的 要 点 。 

撤离 之 前 ， 把 困难 的 问题 解决 掉 ， 而 不 是 轻易 放 过 。 

即使 一 个 小 型 的 、 负 责 端 到 端 测 试 的 自动 化 测试 集 ， 也 会 以 近乎 
为 零 的 成 本 提供 长 期 的 质量 保证 。 如 果 没 有 ， 一 定 要 建立 一 个 这 样 的 
自动 化 测试 集 。 

留 下 一 份 how-to 文 档 ， 以 便 公司 的 任何 人 都 可 以 运行 你 的 测试 集 ， 
这 也 会 减少 你 在 将 来 繁忙 时 还 被 突然 打扰 的 可 能 性 。 

确保 有 一 个 问题 解决 通道 (escalation path) ， 愿 意 承担 一 些 责 
任 。 

时 刻 准 备 着 返回 到 你 曾经 工作 的 项 目 里 帮忙 ， 这 对 产品 、 团 队 和 
用 户 都 有 益 。 

进入 测试 维护 模式 对 许多 项 目 来 说 是 无 可 改变 的 事实 ， 在 Google 
尤其 如 此 。 作 为 一 个 TE， 本 着 对 用 户 负 责 的 态度 ， 我 们 应 小 心 行事 ， 
使 用 户 尽 可 能 的 不 受 影响 ,使 研发 过 程 尽 可 能 的 高 效 。 同 时 ， 我 们 也 
必须 能 够 继续 前 进 ， 而 不 是 一 辈子 都 守 在 某 些 代码 或 者 想法 上 。 


3.2.8 质量 机 器 人 (Quality Bot) 实验 


HE, WEST Ride T RENMEI LA, HRR ER 
Tj (CPU 和 存储 近乎 免费 ， 人 类 宝贵 的 大 脑 用 来 优化 搜索 算法 ) 的 思 
维 来 想象 一 下 测试 可 能 的 样子 一 一 机 器 人 ， 更 准确 地 说 ， 质 量 机 器 
N o 

TER SAA TRAE EX LEMAA TT ELZ 
后 ， 我 们 意识 到 在 编写 和 运行 回归 测试 集 上 ， 消 耗 了 非常 多 的 脑力 和 
财富 。 维 护 自动 化 的 测试 场景 和 手工 测试 的 回归 执行 ， 代 价 昂贵 。 不 
仅仅 消耗 人 力 财 力 ， 而 且 速 度 还 很 慢 。 更 糟糕 的 是 ， 我 们 最 终 要 寻找 
期 望 的 行为 。 那 意料 之 外 的 怎么 办 呢 ? 也 许 是 归功 于 Google 关 注 质 量 
的 工程 实践 ， 回 归 测 试 执行 的 失败 率 常 常 在 5% 以 下 。 重 要 的 是 ， 这 件 
工作 对 我 们 的 TE 来 说 ， 也 是 单调 乏味 的 。 别 瑟 了 ， 我 们 面试 证 明了 他 
们 是 有 高 度 的 求知 欲 、 理 解 力 和 创造 性 的 。 我 们 和 希望 将 他 们 解放 出 来 
去 做 更 加 聪明 的 测试 : 探索 式 测 试 ， 这 也 正 是 他 们 被 招 进来 的 目的 。 

Google Search 不 断 地 把 取 网 页 ， 记 录 它 所 看 到 的 一 切 ， 找 到 计算 
各 种 数据 在 巨大 索引 中 位 置 的 方法 ， 按 照 静态 和 动态 相关 性 UE) 
分 数 排 序 ， 在 搜索 结果 页 面 中 展示 需要 的 数据 。 花 些 时 间 思 考 ， 你 束 
会 看 到 这 个 基本 的 搜索 引擎 设计 正 像 是 一 台 目 动 化 的 质量 打分 机 与 理 
想 中 的 测试 引擎 多 么 的 类 似 。 事 实 上 ， 我 们 已 经 实现 了 一 个 面 回 测试 
的 版 本 。 

(1) ER: 现在 ， 机 器 人 开始 仆 取 网 页 了 (最 高 优先 级 的 仆 虫 在 
Skytap.com 提 供 的 虚 机 上 执行 。Skytap 提供 了 一 个 强大 的 虚 机 环境 ， 人 允 
许 开 发 人 员 和 直接 登录 到 出 错 的 虚 机 上 去 管理 那些 调试 中 的 实例 一 一 所 
有 这 一 切 都 在 浏览 絮 中 完成 。 开 发 人 员 的 精力 和 时 间 比 CPU 周 期 要 珍 
贯 的 多 。 此 外 ，Skytap 人 允许 机 器 人 完全 在 其 他 用 户 的 虚 机 和 账号 上 运 
fT, 包括 访问 那些 非 公 开 的 预 发 环境 服务 器 ) 。 成 和 于 上 万 的 虚拟 机 加 
载 了 WebDriver 目 动 化 脚本 ,打开 所 有 常用 的 浏览 妖 访 问 web 上 的 大 量 
知名 URL。 像 猴子 沿 着 芯 葛 跳 距 一样， 机 器 人 沿 着 URL 从 一 个 跳 癌 另 


外 一 个 ， 与 此 同时 分 析 所 访问 的 网 页 结构 ， 从 而 构造 出 一 张 哪些 HTML 
元 素 出 现在 哪里 、 如 何 呈 现 的 地 图 。 

(2) 索引 : 扑 虫 将 原始 数据 传送 到 索引 服务 器 。 索 引 依 据 使 用 的 
浏览 器 和 疏 取 时 间 对 这 些 信息 进行 排序 。 它 会 预先 计算 好 各 轮 次 运行 
之 间 区 别 的 基本 统计 数据 ， 例 如 ， 疏 取 了 多 少 个 页 面 。 

(3) HEY: 当 一 个 工程 师 希 望 看 到 一 个 特定 的 网 页 在 多 轮 次 运行 
中 的 结果 ， 或 者 一 个 浏 损 器 中 所 有 网 页 的 结果 ， 排 序 器 就 进行 深度 计 
算 ， 给 出 一 个 质量 分 ， 表 示 为 两 个 页 面 之 间 的 百分比 相似 分 ， 同 时 也 
会 计算 所 有 运行 的 平均 分 。100% 表 示 页 面相 同 。 小 于 100% 代 表 了 不 
同 ， 并 用 来 衡量 差异 程度 。 

结果 汇总 在 机 器 人 面板 上 显示 ， 如 图 3.27 所 示 。 详 细 结 果 展 示 在 
一 个 简单 的 显示 各 页 面 百 分 比 相似 性 的 表格 中 ， 如 图 3.28 和 图 3.29 所 
示 。 对 每 个 结果 ， 工 程 师 可 以 看 到 页 面 显示 上 的 差异 。 在 这 个 比较 视 
图 中 ， 各 轮 次 运行 之 间 的 不 同 之 处 会 被 高 亮 ， 并 显示 了 存在 差别 的 元 
素 的 XPaths (XPaths 类 似 文件 路 径 ， 但 是 适用 于 Web 页 面 而 非 文 件 系 
统 。 它 们 识别 父子 关系 和 其 他 信息 ， 可 用 于 唯一 标识 Web 页 面 中 的 各 
个 DOM 元 素 。 参 见 http://en.wikipedia.org/wiki/XPath) 及 其 位 置 ， 如 图 
3.30 所 示 。 工 程 师 还 能 看 到 各 URL 的 历史 平均 最 小 分 和 最 大 分 等 情 
ES 
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A 图 3.27 机 器 人 数据 汇总 面板 : 跨 Chrome 版 本 的 变化 趋势 


Geegle Suite: Tue 21 Jun,2011 04:21:55 PM 
Views 


* Number of URLs: ~447 

* Reference browser. Chrome 14.0.798.0 
* Test browsers: Chrome 14.0.798.0 

* Data received: 895 

* Result computed: 424 


Chrome 14.0.798.0 | http://www.tribalfusion.com 100.0000 Tue 21 Jun,2011 11:19:40 PM UTC 


$ 


| Chrome 14.0.798.0 | http: //www.wikia.com 100.0000 | Tue 21 Jun,2011 11:18:48 PM UTC | | 
| | 

99.2204 = Tue 21 Jun,2011 11:18:39 PM UTC 

| 99.6812 . Tue 21 Jun,2011 11:18:33 PM UTC 


191.6279 Tue 21 Jun,2011 11:17:26 PM UTC | 


| 100.0000 | Tue 21 Jun, 2011 11:17:23 PM UTC | 


下 | 下 | 下 | TEL ET 


100.0000 Tue 21 Jun,2011 11:17:21 PM UTC 


(99.9446 | Tue 21 Jun,2011 11:17:21 PM UTC | 


100.0000 | Tue 21 Jun,2011 11:15:08 PM UTC | 


100.0000 | Tue 21 Jun,2011 11:15:07 PM UTC | 
| 


Cl | Chrome 14.0.798.0 (wicked fast) Perendered = | Chrome 14.0.798.0 | http://www.homeway.com.cn 100.0000 Tue 21 Jun,2011 11:15:06 PM UTC | 


P$ S5 5i 


4 | i | | 
口 Chrome 14.0.798.0 (wicked fast) Prerendered Chrome 14.0.798.0 | http:/ /www.narod.ru 100.0000 | Tue 21 Jun, 2011 11:13:53 PM UTC 


A 图 3.28 机 器 人 典型 的 表格 细节 视图 


Geegle Suite: Tue 21 Jun,2011 04:21:55 PM 


Number of URLs: -447 

Reference browser: Chrome 14.0.798.0 
Test browsers: Chrome 14.0.798.0 
Data received: 895 

Result computed: 424 


18.7728 Tue 21 Jun, 2011 06:09:21 PM UTC 


18.8542 Tue 21 Jun,2011 05:06:07 PM UTC 


| 21.0968 | Tue 21 Jun,2011 07:23:10 PM UTC 


42.2505 Tue 21 Jun,2011 07:10:14 PM UTC 


| 45.3753 Tue 21 Jun, 2011 05:23:17 PM UTC 


47.9971 Tue 21 Jun,2011 11:11:08 PM UTC 


| 48.8929 | Tue 21 Jun,2011 10:53:39 PM UTC. 


i 50.6132 | Tue 21 Jun,2011 06:03:47 PM UTC 


52.6742 Tue 21 Jun,2011 04:44:17 PM UTC 


| 56.1918 | Tue 21 Jun,2011 05:13:13 PA UTC 


| 62.8598 Tue 21 Jun,2011 07:23:02 PM UTC | [Nor 


63.4265 Tue 21 Jun,2011 06:58:20 PM UTC 
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A [3.30 机 器 人 的 页 面 差 异 可 视 化 


bots] Er UK IE HIB £1 AH T Chrome pi 4: ££ 48 uA Z SLAY 
一 个 问题 。bots 自 动 运行 ，TE 检 查 结果 表格 时 看 到 一 个 URL 的 百分比 
相似 性 降低 了 “。 进 一 步 查 看 差异 点 的 高 亮 对 比 视 图 ， 如 图 3.31 所 示 ， 
工程 师 快速 定位 到 了 问题 。 因 为 这 些 bot 可 以 测试 Chrome 的 所 有 版 本 
(Chrome 每 日 构建 多 次 ) ， 工 程 师 可 以 快速 发 现任 何 回归 bug， 而 每 
个 版 本 包含 的 CL (change list) 很 少 ， 也 方便 了 确定 导致 问题 的 代码 提 


— 
S id 


45.6897 
No 


Ezine 


S| gus 


" ni 
Chrome 12.0.712.0: HTML/BODY/T /TABLE/TBODY/TR[2VTD|2yDIV/DIV[! }#bio 782x 
Chrome 11.0.696.16: /HTML/BODY/TABLE/TBODY /TR[2]/TD[2]/DIV/DIV [2 &cats/ TABLE[1) /TBODY/TR/TD[2] 437x20 


» 


图 3.31 bot 的 首次 运行 发 现 的 第 一 个 bug 

一 次 代码 提交 (导致 回归 的 提 X URL 是 
http://trac.webkit.org/changeset/81691 ) 到 WebKit 代 码 库 (bug 56859: 
reduce float iteration in logicalLeft/RightOffsetForLine) 造成 了 一 个 回归 
|] Ei ( WebKit Bugzilla 的 jg 题 链 接 是 
https://bugs.webkit.org/show_bug.cgi?id=56859。 在 Chromium 中 的 问题 跟 
踪 链 接 是 http://code.google.com/p/chromium/issues/detail?id=77261) ， 使 


得 该 页 面 中 部 的 div Mi Ww fe T A OBZ Fb © Issue 77261: 
ezinearticles.com layout looks broken on Chrome 12.0.712.0 ° 

正如 我 们 所 预期 的 那样 ，bot 收 集 的 数据 与 人 工 结 有 果 不 相 上 下 ， 其 
至 在 很 多 方面 更 胜 一 筹 。 绝 大 多 数 的 网 页 是 相同 的 ， 而 对 于 那些 存在 
送 异 的 网 页 ， 工 程 师 借助 结果 视图 可 以 很 快 的 判定 这 些 差别 是 否 无 天 
紧要 〈 见 图 3.29) 。 现 在 ， 不 存在 回归 问题 的 判断 可 以 由 机 器 完成 了 。 
这 件 事情 的 意义 不 容 忽视 ， 这 意味 着 靠 人 工 点 击 网 页 累 吐 血 的 时 代 一 
去 不 复 返 了 一 一 严格 讲 砍 掉 了 90% 左 右 的 人 工 劳 动 。 原 来 持续 数 日 的 测 
试 任务 现在 几 (或 几 十 ) 分 钟 内 即 可 搞定 。 原 来 每 周 运行 一 次 ， 现 在 
可 以 每 天 执行 数 次 。 测 试 人 员 翻 号 得 解放 ， 可 以 集中 精力 寻找 更 有 价 
值 的 pug 了 。 

从 男 外 一 个 角度 看 ， 如 果 在 浏览 器 保持 不 变 的 情况 下 长 时 间 观 察 
一 个 网 站 ， 我 们 就 不 古 测 试 浏 览 姑 ， 而 是 在 测试 这 个 网 站 了 。 变换 不 
同 的 浏览 器 访问 一 个 网 站 也 是 一 样 。 从 而 ， 网 页 开发 者 也 可 以 借助 这 
个 工具 检查 网 站 的 所 有 变化 。 也 束 是 说 ， 网 页 开发 者 可 以 在 每 次 推出 
新 版 本 时 运行 bot， 在 其 结果 表格 中 查看 变化 的 内 容 。 无 须 手 工 测 试 ， 
网 页 开发 者 一 眼 就 可 以 确认 变化 是 否 正 常 ， 是 否 需 要 记录 一 个 回归 
bug, ifj bug 的 细 世 如 什么 浏览 右 、 哪 个 应 用 版 本 ， 以 及 有 具体 的 HIML 
元 素 信息 都 已 经 万 事 俱 备 了 。 

数据 驱动 的 网 站 怎么 办 呢 ? 例如 ，YouTube 和 CNN， 网 站 内 容 一 直 
在 变化 。 这 不 会 把 bot 搞 时 吗 ? 只 要 bot 能 基于 历史 数据 理解 正常 的 波动 
就 行 了 。 如 果 在 一 过 又 一 明 的 运行 中 只 有 文章 内 容 和 图 像 在 发 生变 
化 ，bot 所 测量 到 的 差异 值 将 会 保持 在 正常 区 间 内 (对 此 网 站 而 言 ) 。 
当 网 站 分 数 超出 正常 范围 时 ， 如 IFRAME 出 错 了 ， 或 者 网 站 采用 了 全 
新 的 布局 ，bot 会 产生 一 个 提醒 ， 通 知 到 网 站 开发 者 ， 由 他 来 判断 这 是 
否 正常 ， 是 否 需 要 报告 bug。 图 3.32 所 示 为 一 个 少量 噪声 的 示例 ， 


CNET 在 右边 显示 了 一 个 小 广告 ， 而 不 是 左边 。 这 个 噪声 无 足 轻 重 ， 可 
以 通过 设置 一 定 规 则 或 人 工 快 速 标记 予以 忽略 。 

现在 ， 如 果 许 多 提醒 一 下 子 冒 出 来 怎么 办 呢 ? 测试 或 开发 人 员 需 
要 逐一 检查 吗 ? 不 用 ， 我 们 正在 开展 实验 ， 将 这 些 差 异 直 接 转 发 给 测 
试 人 员 (http:/www.utest.com 的 朋友 们 在 实验 中 帮 了 大 忙 ， 他 们 有 着 大 
量 非常 聪明 能 干 的 测试 人 员 。 他 们 的 测试 经 党 能 发 现 比 内 部 重复 性 的 
自动 化 回归 测试 更 多 的 、 更 高 质量 的 问题 ) 。 测 试 人 员 去 进行 快速 评 
审 ， 通 过 这 种 方式 使 得 核心 测试 和 开发 团队 不 受 噪 声 的 干扰 。 众 包 测 
试 人 员 需 要 对 比 网 页 的 不 同 版 本 ， 并 做 合适 的 标记 : 是 一 个 bug 还 是 一 
EB 特 性 。 这 一 额外 的 过 滤 进 一 步 保 护 了 核心 工程 团队 ， 使 之 免 

噪声 的 打扰 。 


Return to Results 
Chrome 13.0.777.0 
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Chrome 13.0.777.0: BODY>DIV[id=rb_bodyWrap]:nth-child(1 TV{id=rb_shell]:nth-child(2}>DIV[id=rbHeader]:nth-child(8)>DIV -nth-child(4)»DIV n 2 a 
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13.32 bot 的 可 视 化 对 比 视图 : | eR AS) OTE 
如 何 得 到 众 包 人 员 的 投票 数据 呢 ? 我 们 实现 了 一 个 功能 ， 可 以 基 
于 原始 bot 数据 生成 一 个 简单 的 投票 页 面 。 通 过 几 个 实验 与 标准 的 人 工 


> 
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了 3 天 时 间 来 检查 150 个 URL。 相 比较 而 言 ，bot 只 标记 了 这 150 个 URL 中 
的 6 个 需要 检查 ， 而 这 6 个 不 再 需要 进一步 评价 。 这 些 标记 的 URL 被 发 
给 众 包 测试 人 员 。 有 了 bot 数据 和 差别 可 视 化 工具 的 帮助 ， 一 个 众 包 测 
试 人 员 确 认 一 个 网 站 有 无 问题 的 平均 时 间 是 18 秒 。 众 包 测 试 人 员 正 确 
的 指出 这 6 个 都 有 异常 ， 效 果 与 标准 的 人 工 评审 方法 一 怪 ， 但 后 者 显然 
要 昂贵 的 多 。 

虽然 很 梭 ， 但 这 只 适用 于 静态 网 页 ， 那 些 交 互 式 内 容 例 如 飞行 采 
单 、 文 本 框 和 按钮 怎么 办 呢 ? 解决 这 个 问题 的 工作 正在 进行 中 。 类 似 
拍 电影 ，bot 会 自动 地 与 网 页 上 感 兴趣 的 元 素 进行 交互 ， 在 每 一 步 抓 取 
DOM 快 照 。 人 然后， 每 次 运行 产生 的 “电影 * 可 以 逐 帆 对比。 

Google 已 经 有 好 几 个 团队 使 用 bot 取 代 了 大 量 的 手工 回归 测试 ， T 
省 下 来 的 人 力 用 于 更 加 有 意思 的 工作 ， 例 如 探索 式 测试 ， 这 在 以 前 是 
没有 时 间 做 的 。 像 Google 其 他 事情 一 样 ， 我 们 不 紧 不 慢 地 推进 这 件 事 
情 ， 以 保证 数据 的 准确 可 徘 。 团 队 的 目标 是 公开 此 服务 和 源 代 码 ， 包 
括 人 允许 在 其 他 人 的 VPN 上 进行 自我 托管 的 测试 ， 如 果 他 们 不 愿意 将 预 
发 环境 的 URL 对 外 公开 的 话 。 

基本 的 bot 代 人 码 同 时 运行 在 Skytap 和 Amazon 的 EC2 上， 并 且 已 经 开 
源 (ULGoogle testing blog 或 附录 C) ° Tejas Shah 很 早 以 来 一 直 是 bot 
的 技术 主管 ， 后 来 加 入 的 有 Eriel Thomas ^ Joe Mikhail 和 Richard 
Bustamante。 欢 迎 参 与 这 个 项 目 ! 


测量 整个 Internet 的 质量 


在 信息 检索 领域 ,惯例 是 随机 抽取 一 个 有 代表 性 的 搜索 查询 
样本 。 当 你 知道 了 一 个 搜索 引擎 在 某 个 查询 集 上 的 性 能 ， 你 就 能 
对 所 有 搜索 查询 的 质量 建立 起 统计 学 上 的 置信 度 ， 就 像 总 统 大 选 


的 民 调 一 样 。 束 bot 而 言 ， 其 价值 在 于 ， 如 采 我 们 用 bot 测 试 了 
Internet 上 代表 性 的 URL， 殊 极 有 可 能 量化 并 跟 踩 整 个 Internet 的 质 


三 


EX © 


图 3.33 所 示 为 早期 的 WebKit 布 局 测试 使 用 完整 页 面 布 局 的 哈 硕 值 。 
现在 我 们 可 以 测试 完整 的 页 面 并 把 错误 定位 到 元 素 的 级 别 ， 而 非 页 面 
级 别 。 

奇异 点 〈 奇 异 点 这 个 术语 描述 了 计算 机 超越 了 人 类 智能 的 时 刻 ， 
这 想必 非常 有 趣 ， 当 今世 界 已 经 开始 见 到 一 些 未 来 科技 的 浮 光 护 影 ， 
参见 http://en.wikipedia.org/wiki/Technological_singularity) : bot 的 起 源 

(作者 : Jason Arbon) 


在 外 部 布局 的 测试 过 程 中 ， 我 们 发 现 ， 相 对 
于 截屏 做 一 个 哈 希 这 种 测试 方法 , 通过 像 济 
览 骼 一样 解析 网 页 可 以 实现 更 加 精确 的 布 


at 


A 图 3.33 早期 的 webKit 布 局 测试 使 用 完整 页 面 布局 的 哈 希 值 。 现 在 我 们 可 以 测试 完整 的 页 面 并 
把 错误 定位 到 元 素 的 级 别 ， 而 非 页 面 级 别 

很 久 以 前 ， 在 一 个 遥远 的 Google 办 公 室 里 ..…... Chrome 还 处 于 第 一 

个 版 本 。 看 着 最 早 进来 的 数据 ， 我 们 意识 到 Chrome 存 在 比较 多 的 问 

题 ， 它 演 染 网 页 的 方式 与 Firefox 有 很 大 不 同 。 那 时 ， 测 量 这 些 差 异 的 
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载 时 抱怨 了 兼容 性 问题 。 

我 开始 思考 是 否 存在 一 种 可 重复 的 、 自 动 化 的 、 可 量化 的 方式 来 
测量 Chrome 的 表现 。 之 前 ， 很 多 人 已 经 尝试 过 自动 比较 不 同 浏 蜗 器 上 
的 网 页 快照 的 方法 ， 一 些 人 甚至 尝试 使 用 高 深 的 图 像 和 边缘 检测 技术 
来 精确 识别 泻 染 的 不 同 之 处 ， 但 这 些 努 力 经 常 以 失败 告终 ， 原 因 是 这 
种 方法 发 现 的 不 同 之 处 仍然 是 海量 的 一 一 想 想 那些 广告 、 内 容 变 化 
等 。 基 本 的 WebKit 布 局 测试 ， 只 是 使 用 网 页 整体 布局 的 一 个 哈 希 值 来 
做 比较 ( 见 图 3.33) 。 即 使 在 发 现 了 一 个 真正 的 问题 时 ， 到 底 是 什么 地 
方 出 了 问题 ， 仍 然 宣 无 头绪 ， 因 为 只 有 一 张 截图 可 供 参考 。 太 多 的 误 
tk 〈 误 报 是 由 于 测试 本 身 导致 的 失败 ， 而 非 真 正 的 产品 问题 。 误 报 带 
来 的 成 本 会 很 高 ， 并 且 可 能 激怒 工程 师 ， 由 于 增加 了 徒劳 无 功 的 分 析 
而 急剧 降低 生产 率 ) 反而 增加 了 工程 师 的 工作 量 。 

我 的 思绪 不 断 回 到 从 前 那个 简单 的 ChromeBot 工 具 。 我 们 利用 了 数 
据 中 心 的 空闲 机 器 周期 ， 在 成 和 上 万 的 虚拟 机 上 启动 大 量 的 Chrome 浏 
览 器 ， 去 仆 取 成 百 上 千 万 的 URL， 目标 是 发 现 各 种 可 能 的 朋 江 问题。 
这 个 工具 很 有 价值 ， 因 为 它 可 以 捕获 衣 江 ， 并 在 后 期 增加 一 些 浏 览 颖 
交互 的 功能 测试 。 然 而 ， 最 后 它 光 芒 尽 失 ， 因 为 崩 江 性 问题 越 来 越 少 
已 经 很 罕见 了 。 假 设 我 们 增强 其 功能 ， 与 页 面 本 身 交 互 ， 而 不 是 只 会 
给 Chrome 施 压 ， 结 果 会 怎么 样 呢 ? 

于 是 ， 我 考虑 了 一 个 不 同 的 做 法 : 深入 DOM (DOM 指 Document 
Object Model 一 文档 对 象 模型 ， 是 页 面 背 后 HTML 的 内 部 表示 ， 包 含 
了 表示 按钮 、 文 本 域 、 图 像 等 的 所 有 小 对 象 ) 。 我 用 一 周 的 时 间 做 了 
一 个 小 实验 ， 逐 一 加 载 多 个 网 页 ， 通 过 JavaScript 脚 本 注入 构造 出 网 页 
的 内 部 结构 图 。 

当时 ， 有 很 多 聪明 人 对 此 方法 表示 了 高 度 人 怀疑， 他 们 该 冷水 的 部 
分 理由 如 下 。 


广告 不 停 的 变化 。 

CNN.com 等 的 网 站 内 容 不 停 的 变化 。 

浏 斋 噩 特定 的 代码 导致 页 面 在 不 同 的 浏览 硕 里 有 不 同 的 演 染 。 

浏 贤 右 本 号 的 bug 导 致 显示 上 的 差异 。 

这 样 的 工作 需要 惊人 的 数据 量 。 

这 上 听 起 来 像 是 一 个 开心 挑战 赛 。 如 果 我 失败 了 ， 好 吧 ， 我 会 失败 
得 悄 无 声息 。 之 前 我 曾经 在 其 他 搜索 引擎 工作 过 ， 因 此 我 可 能 是 过 度 
坚定 的 认为 信号 可 以 从 噪声 里 提取 出 来 。 我 意识 到 这 件 事 情 几 乎 没有 
内 部 竞争 。 我 开始 低调 的 推进 。 在 Google， 数 据说 了 算 。 我 想得到 数 
据 。 

在 实验 中 ， 我 需要 可 用 来 做 比较 的 对 照 数 据 。 最 好 的 资源 是 实地 
测试 人 员 。 这 方面 的 日 常 工 作 是 由 外 包 人 员 完 成 的 ， 他 们 用 Chrome 和 
Firefox 访 问 500 个 左右 的 最 大 网 站 ， 人 工 查 找 区 别 (Firefox 被 用 作 基 
准 ， 因 为 它 更 符合 HTML 标 准 ， 很 多 网 站 部 有 下 特定 的 代码 ， 在 
Chrome 中 的 泻 染 欠 佳 )。 我 跟 两 个 负责 此 事 的 最 好 的 工程 主管 进行 了 
交谈 。 他 们 告诉 我 ， 起 初 有 接近 50% 的 网 站 存在 问题 ,但 是 后 来 就 还 
渐 好 转 ， 一 直到 不 常 发 生 一 一 这 个 数字 已 经 低 于 5% 了 。 

接着 ， 我 用 WebDriver (下 一 代 Selenium) 完成 了 实验 。WebDriver 
有 更 好 的 Chrome 支 持 和 更 好 的 API。 在 第 一 次 运行 中 ， 我 使 用 了 从 早期 
开始 一 直到 最 新 的 各 种 Chrome 版 本 来 收集 数据 ， 并 观 罕 每 台 机 器 上 的 
趋势 图 是 否 相 似 。 它 只 是 简单 的 加 载 相同 的 网 站 ， 在 每 个 像素 点 上 ， 
检查 相应 的 HTML TA (不 是 RGB 值 ) 是 否 可 见 (只 是 对 一 个 
800x1000 的 网 页 区 域 用 getElementFromPoint(x,y) 获 得 元 素 ， 然 后 取 所 
有 元 素 的 一 个 哈 希 值 。 存 在 更 高 效 的 方法 ， 但 这 个 比较 简单 ， 用 于 演 
示 足 够 了 ) ， 并 把 数据 发 送 到 服务 器 。 实 验 运 行 在 我 自己 的 桌面 机 
上 ， 大 概要 运行 12 个 小 时 ， 因 此 我 选择 了 通宵 运行 。 


第 二 天 出 来 的 数据 看 上 去 不 销 ， 因 此 我 把 Chrome 换 成 Firefox 重 新 
执行 了 一 裔 。 是 的 ， 的 确 有 网 站 内 容 变化 带 来 的 拌 动 ， 但 这 只 是 试 着 
看 一 下 数据 的 概貌 ， 以 后 我 们 会 并 发 运行 的 。 接 下 来 的 那天 的 早上 ， 
我 来 到 办 公 室 ， 发 现 自己 的 Windows 机 器 被 拔 掉 了 所 有 了 网线， 并 被 防火 
墙 隔离 了 。 更 早上 班 的 隔壁 的 同事 用 一 种 奇怪 的 眼光 看 着 我 ， 说 恐 介 
我 得 去 跟 安 全 部 门 的 人 喝 咖啡 了 。 我 只 能 猜测 发 生 了 什么 事情 。 事 实 
上 ， 昨 晚 我 的 机 峰 中 招 了 ， 被 无 名 病毒 感染 ， 然 后 发 作 了 一 夜 。 安 全 
人 员 问 我 是 否 需 要 在 他 们 毁 挥 硬盘 之 前 拿 走 数据 。 池 好 我 有 云 存储 ， 

告诉 他 们 可 以 拿 走 整 台 机 器 。 在 这 之 后 ， 我 把 任务 放 到 了 外 部 的 虚 
机 上 。 

数据 跟从 TE 那 里 听 来 的 很 一 致 ， 如 图 3.34 所 示 。 机 需 在 48 小 时 内 
完全 独立 的 产生 的 数据 ， 跟 人 工 测 试 大 概 一 年 得 出 的 结论 惊人 的 一 
致 。 
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A 图 3.34 早期 数据 显示 了 bot 和 人 工 在 质量 测定 上 的 相似 性 

数据 令 人 振奋 。 几 天 的 编码 和 单机 两 晚 的 执行 狐 似 顶 得 上 多 个 测 
试 人 员 超 过 一 年 的 工作 。 我 拿 着 这 个 数据 找到 了 总 监 (不 具体 点 名 是 
VET) ， 他 先 表 示 这 个 东西 的 确 很 拉 风 ， 然 后 就 建议 我 把 精力 集中 在 
已 经 进行 了 更 久 的 其 他 实验 上 。 我 的 反应 是 很 Google 式 的 : 表面 同 
意 ， 但 私 底 下 一 切 照 卓 。 那 个 夏天 我 们 有 两 个 非常 能 干 的 实习 生 ， 他 
们 就 被 安排 来 进行 这 个 工具 的 产品 化 ， 包 括 实现 更 好 的 视图 去 做 页 面 
比较 的 可 视 化 。 他 们 还 测量 了 运行 时 事件 的 不 同 。 到 夏季 结束 时 ，Eric 
Wu 和 Elena Yang 演 示 了 他 们 的 工作 ， 结 果 是 一 炮 打 啊 ， 每 一 个 人 变 成 
了 拥护 者 ， 认 为 这 件 事情 大 有 前 途 。 

Tejas Shah 大 受训 姓 ， 在 实习 生 离 开 之 后 ， 他 召集 了 一 个 工程 团队 
接手 了 这 个 实验 并 进行 了 产品 化 。 


bot: 从 一 个 人 的 赌注 到 web 级 的 产品 (作者: Tejas Shah) 


我 现在 是 bot 项 目的 技术 主管 ， 工 作 重 点 是 使 bot 具 有 整个 web 的 可 
扩展 性 并 在 世界 范围 内 分 享 。bot 已 经 从 早期 实验 发 展 成 为 一 个 完全 正 
式 的 项 目 ， 并 在 Google 多 个 团队 使 用 。 

那 是 在 2010 年 年 末 ， 我 正 伦 于 一 个 Chrome 自 动 化 框架 ERAK 
SiteCompat) 。 这 个 框架 使 用 定向 的 JavaScript 测 试 ， 上 自动 地 发 现 知 名 
站 点 在 Chrome 浏 多 絮 上 的 功能 性 问题 ， 例 如 ， 目 动 验 证 “google.com” 上 
的 搜索 功能 、 在 每 一 个 Chrome 版 本 上 得 看 CNN 的 一 篇 文章 。 效 果 非 常 
好 ， 不 但 抓 到 了 一 些 回 归 问 题 ， 还 增加 了 网 站 运行 时 行为 的 目 动 化 功 
能 检查 。 

几乎 是 在 同一 时 间 ，Jason 的 实习 生 们 正在 开发 这 个 超 酷 的 bot 项 目 
的 演示 版 。 我 一 直 对 他 们 的 进展 保持 关注 ， 他 们 的 最 终 演 示 彻 底 改 变 
了 我 对 网 站 验证 的 认 知 和 方法 。 当 我 看 到 Elena 的 演示 数据 时 ， 我 完全 
被 征服 了 。 我 意识 到 这 可 以 从 根本 上 改变 web 测 试 的 方法 。 我 的 脚本 测 
试 很 重要 ， 但 不 具有 高 度 可 扩展 性 ， 需 要 不 断 的 维护 。bot 则 意味 着 更 
加 通用 的 东西 。 我 立刻 殉 深 陷 其 中 难以 自拔 了 。 实 习 生 束 要 离开 了 ， 
大 家 都 知道 这 些 代码 不 过 是 演示 性 的 ， 要 把 它 变 成 核心 染 构 平台 的 一 
部 分 并 具有 web 范 围 的 可 扩展 性 ， 还 需要 大 量 的 工作 。 

起 初 ， 我 是 bot 项 目 上 唯一 的 工程 师 。 那 时 ，bot 仍 然 被 认为 是 实验 
性 的 ， 很 多 人 仍然 感到 这 是 一 个 “不 可 能 的 任务 ”。 但 我 坚信 自己 可 以 
做 到 o 

有 一 段 时 间 我 一 个 人 工作 ， 借 此 避 开 那些 质疑 的 眼神 。 这 种 状态 
持续 了 大 概 一 个 季度 。 要 知道 ， 工 作 量 还 是 比较 大 的 ， 要 处 理 的 问题 
包括 可 扩展 性 、 性 能 、 打 分 机 制 和 不 同 页 面 的 可 用 性 等 。 在 这 些 问题 
被 妥善 解决 之 前 ， 系 统 是 无 法 公开 的 。 周 着 职业 风险 ， 和 赁 一 己 之 力 理 
战 于 这 样 一 个 有 风险 的 项 目 是 很 艰难 的 。 如 果 不 成 功 ， 束 没有 拿 得 出 
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长 期 项 目 为 理由 ， 保 护 我 通过 了 绩效 考核 中 的 怀疑 和 质询 。 

接 下 来 ， 我 们 给 Chrome 团队 的 工程 总 监 做 了 一 次 演示 。 他 非常 喜 
欢 这 个 想法 ， 认 为 当然 应 该 用 起 来 ， 并 决定 将 bot 的 结果 纳入 Chrome 的 
日 常 测试 工作 中 。 这 个 认可 非常 重要 ， 使 我 信心 大 增 。 我 还 意识 到 ， 
如 果 Chrome 团队 能 用 它 来 解决 电 及 整个 web 的 困难 的 质量 问题 ， 那 对 
任意 网 站 也 应 该 有 用 。 

此 后 我 们 接二连三 地 在 许多 内 部 团队 进行 了 演示 ， 看 到 这 个 演示 
的 每 一 个 人 都 希望 能 在 目 己 的 团队 使 用 bot， 这 印证 了 我 们 希望 把 它 用 
于 所 有 web 应 用 的 梦想 是 靠 谱 的 。 叉 一 个 季度 过 去 了 ， 我 已 经 可 以 生成 
Chrome Canary 版 本 的 趋势 曲线 和 得 分 了。 现在 ，bot 不 仅仅 是 一 个 早期 
预警 系统 ， 它 还 能 在 项 目 早期 发 现 真正 的 bug， 并 提供 精确 得 多 的 天 于 
失败 的 数据 供 开 发 者 参考 。 我 最 得 意 的 bug 是 在 bot 的 首次 正式 上 线 运行 
发 现 的 ， 这 次 运行 比较 了 两 个 每 日 构建 。bot 在 Apple 的 一 个 开发 者 修 
改 了 一 个 WebKit 属性 几 小 时 后 发 现 了 一 个 问题 。 这 个 特性 有 单元 测试 
用 例 ， 但 只 有 bot 逮 住 了 这 个 问题 ， 因 为 它 测试 鸭 是 真正 的 网 页 。 

我 的 团队 经 常 在 演示 之 后 被 问 道 , “我 是 不 是 很 快 残 可 以 抛弃 手工 
测试 了 ? ”答案 当然 是 否定 的 。 意 义 在 于 ， 他 们 现在 能 去 做 本 该 做 的 事 
fal: 需要 开动 脑筋 的 探索 式 测 试 、 风 险 分 析 、 关 注 用 户 等 。 

Chrome 的 成 功 故 事 使 我 们 得 到 了 更 多 的 预算 和 资源 。 现 在 ， 有 几 
个 工程 师 在 负责 bot 的 改进 。 同 时 ， 我 们 还 被 邀请 去 帮助 搜索 团队 ， 他 
们 正在 发 布 一 个 新 的 很 酷 的 称 为 Instant Pages 特 性 。 由 于 它 需 要 Chrome 
运行 在 不 同 的 模式 ， 我 们 花 几 周 时 间 实 现 了 一 个 定制 的 bot。 在 这 个 工 
具 的 帮助 下 ， 他 们 得 以 满怀 信心 的 发 布 产 品 了 ， 因 为 他 们 知道 将 来 的 
所 有 变化 都 会 被 目 动 测试 到 。 

我 对 TE 的 建议 : 如 果 你 相信 一 件 事 情 ， 把 它 做 出 来 ! 我 对 管理 层 
的 建议 : 给 这 些 工程 师 留 一 些 自由 呼吸 和 实验 的 空间 ， 他 们 会 给 业务 
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3.2.9 BITE 实 验 


BITE 代 表 Browser Integrated Test Environment (浏览 器 集成 测试 环 
境 ) ， 目 标 是 把 尽 可 能 多 的 测试 活动 、 测 试 工具 和 测试 数据 集中 到 浏 
响 右 和 云 里 ， 并 在 上 下 文中 呈现 相关 信息 ， 从 而 减少 分 散 操 作 的 麻 
烦 ， 使 得 测试 工作 更 高 效 。 测 试 人 员 相 当 多 的 时 间 和 精力 都 消耗 在 这 
种 事情 上 了 。 

与 战斗 机 飞行 员 类 似 ， 一 个 测试 人 员 的 很 多 时 间 花 在 了 上 下 文 切 
换 和 分 析 大 量 数据 上 。 测 试 人 员 经 单 要 打开 多 个 标签 页 : bug 数据 库 、 
产品 邮件 组 或 讨论 组 的 电子 邮件 、 测 试用 例 管理 系统 、 电 子 表格 或 测 
试 计 划 。 测 试 人 员 需 要 不 断 的 在 这 些 标签 页 之 间 跳 来 跳 去 。 看 上 去 我 
们 对 效率 有 点 担心 过 度 了 ,但 实际 上 有 一 个 更 大 的 问题 不 容 忽 视 ， 那 
束 是 测试 人 员 在 测试 过 程 中 无 法 看 到 有 价值 的 上 下 文 信息 。 

因为 无 法 确定 合适 的 关键 词 去 查 重 ,测试 人 员 浪 费时 间 填 写 了 重 
复 的 bug ° 

因为 担心 查 重 的 磋 烦 ， 测 斌 人员 干脆 不 去 报告 明显 的 bug 。 

并 不 是 每 个 测试 人 员 都 了 解 那些 有 助 于 后 续 的 bug triage (译注 : 
开发 、 测 试 、 产 品 一 起 评估 bug) 和 开发 排 错 的 相关 调试 信息 ， 很 多 都 
是 隐藏 起 来 的 。 

手工 输入 重 现 步 台 、 调 斌 信息、 错误 之 处 等 工作 磊 为 耗 时 ， 淄 费 
了 大 量 的 时 间 和 精力 ， 消 麻 了 TE 的 创造 力 ， 导 致 他 们 无 法 集中 精神 、 
全 力 以 赴 地 去 发 现 bug 。 

BITE 旨 在 解决 这 些 问题 ， 使 工程 师 的 注意 力 集中 在 实 实 在 在 的 探 
索 式 测试 和 回归 测试 ， 而 不 是 流程 和 技术 性 细节 。 


现代 喷气 式 战斗 机 通过 平视 显示 器 (Heads Up Displays - HUDs) 
解决 了 信息 量 过 大 的 问题 。HUDs Zefa EET. ERO, SEG 
行 员 的 视野 上 。 类 似 从 螺旋 桨 张 动 的 航空 器 过 渡 到 喷气 式 飞 机 ， 
Google 发 布 软件 新 版 本 的 频率 很 快 ， 这 增加 了 数据 量 和 快速 决策 的 收 
益 。 类 似 HUDs， 我 们 在 回归 测试 和 手工 测试 中 都 采用 了 BITE ° 

BITE 实现 为 一 个 浏览 器 插件 ， 这 样 承 能 跟踪 测试 人 员 的 活动 并 深 
入 分 析 Web 应 用 (DOM) 了 ， 如 图 3.35 所 示 。 而 且 ， 这 还 带 来 了 一 致 
的 用 户 体验 ， 通 过 工具 条 快速 访问 数据 ， 同 时 将 数据 玛 加 显示 在 Web 应 
用 上 ， 就 像 HUD 一 样 。 

让 我们 基于 一 些 真实 的 web 应 用 来 理解 这 些 实验 性 功能 。 
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A 图 3.35 BITE 扩 展 的 弹 窗 
1. 用 BITE 报 告 bug 
当 在 测试 或 者 内 部 试用 一 个 Web 应 用 时 发 现 了 一 个 bug， 测 试 人 
员 可 以 点 击 Chrome 扩 展 图 标 ， 然 后 选择 页 面 的 哪 一 部 分 有 错 。 与 


Google Feedback 类 似 ， 测 试 人 员 可 以 高 亮 存在 问题 的 页 面部 分 ， 然 后 
一 键 完成 bug 的 目 动 提交 。 测 试 人 员 可 以 添加 一 些 描 述 ， 但 是 绝 大 部 分 
重要 的 但 填写 起 来 很 乏味 的 信息 已 经 被 自动 的 拿 到 了 : URL、 页 面 上 
出 问题 的 元 素 (或 文本 ) 、 截 屏 。 对 那些 深度 支持 的 Web 应 用 ， Ta 
还 能 自动 地 提取 出 应 用 特定 的 调试 URL， 以 及 有 助 于 在 此 页 面 中 进 
调试 的 信息 e 

例如 ， 测 试 人 员 在 “maps.google.com” 上 搜索 “Google offices”， 但 是 
看 到 了 一 个 貌似 无 天 的 搜索 结果 : the White House。 测 试 人 员 只 需要 简 
单 的 点 击 BITE 的 “Report Bug” 菜 单 按钮 。 他 就 可 以 用 一 个 特别 的 
光标 来 选择 他 认为 有 问题 的 页 面部 分 : 这 里 是 第 4 个 搜索 结果 ， 如 图 
3.36 所 示 。 他 也 可 以 选择 页 面 上 的 任何 一 个 控件 、 图 像 或 map tiles, LA 
及 单词 、 链 接 或 是 图 标 。 


© maps.google.com/maps?f ^ q&source-s g&hl- en&geocode-&q» google offices&ag «&vps 1&sll« 37.09024,-95.712891&5spn«48.641855,92.7246098ie -UTFB&hq« google +offices&hnear= 
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点 击 高 亮 部 分 之 后 ， 在 该 页 面 上 会 直接 弹出 一 个 bug 提 区 表单 ， 如 

图 3.37 所 示 ， 无 须 切 换 标签 页 。 测 试 人 员 可 以 输入 一 个 简短 的 标题 然后 
直接 点 击 Bug it 立即 提交 ， 或 者 增加 更 多 的 信息 。BITE 会 自动 完成 一 些 
很 酷 的 事情 ， 使 得 后 续 的 bug triage 和 调试 容易 得 多 。 绝 大 多 数 的 测试 
人 员 没有 时 间 填 写 这 些 东 西 ， 因 为 这 需要 花 不 少 工 夫 ， 导 致 他 们 从 实 
际 测 试 分 心 。 

(1) 自动 截图 ， 保 存 为 bug 的 附件 。 

(2) 高 亮 元 素 的 HTML 被 附加 到 bug 。 

(3) 从 打开 “maps.google.com” 开 始 的 所 有 动作 都 会 被 录制 下 来 ， 
保存 为 一 份 JavaScript 脚 本 ， 将 来 可 以 回放 以 重 现 bug。 脚 本 链接 会 附 
加 到 bug 上 ， 开 发 人 员 可 以 在 自己 的 浏览 器 里 观看 回放 ， 如 图 3.38 所 
me 
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A 图 3.37 BITE: HHN XH Jbug % 


(4) Map 特定 的 调试 URL 被 自动 地 附加 到 bug 上 ， 因 为 网 页 本 身 的 
URL 没 有 足够 的 信息 用 于 完整 的 重 现 。 

(5) 所 有 浏览 器 和 OS 信 息 被 附加 到 bug。 

这 一 切 成 束 了 bug 的 快速 提交 ， 并 且 提 交 到 数据 库 中 的 bug 有 足 
够 多 的 信息 用 于 安排 优先 级 。 
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readable code play 


* @fileoverview This is an auto-generated test on maps.google.com 
* The generated commands are in the format of 

* ACTION(ELEMENT, OPT TEXT); 

| * @author phu@google.com 
7 


// Searches "google offices" on Google map 
type(getElem("type-input-291"). ContentMap[" INPUT8-603"]) 


| click(getElem("click-button-7 10")); 


click(getElem("click-div-724")); 


» 


图 3.38 BITE: 测试 过 程 中 录制 的 JavaScript 


BITE 对 Maps 产 生 的 影响 


目前 ，Googler 使 用 BITE 给 “maps.google.com” 提 交 bug。Google 
maps 的 bug 不 容易 重 现 ， 因 为 它 的 很 多 应 用 状态 没有 表达 在 URL 
中 ， 而 且 后 端 数据 一 直 在 变化 。 用 户 在 maps 中 浏 谢 、 放 大 缩小 的 
状态 都 不 会 记录 。 有 了 BITE 的 支持 ， 负 责 安 排 优先 级 的 产品 经 理 


欣喜 若 狂 地 把 它 推 广 到 更 大 的 GEO 团 队 ， 现 在 ， 随 便 哪个 Googler 
提交 的 bug 的 水 平 都 可 与 专业 的 maps 测 试 人 员 相 匹敌 了 。 这 加 速 了 
bug triage 过 程 ， 更 多 的 bug 可 以 重 现 和 调试 了 ， 之 前 它们 可 能 会 被 
标记 为 “不 可 重 现 "。 


2. 使 用 BITE 查 看 bug 

当 测试 人 员 探 索 一 个 应 用 或 运行 回归 测试 的 时 候 ， 页 面相 关 的 bug 
会 目 动 浮现 出 来 。 这 有 助 于 测试 人 员 判 断 bug 是 否 重复 ， 或 者 已 经 发 现 
了 哪些 bug， 从 而 了 解 应 用 的 这 一 部 分 质量 如 何 。 

BITE 会 显示 内 部 bug 数 据 库 和 chromium.org issue tracker 来 的 所 有 
bug， 外 部 开发 者 、 测 试 人 员 和 用 户 都 可 以 给 Chrome 报 告 bug 。 

浏览 器 上 BITE 图 标 和 旁边 的 数字 表示 可 能 与 当前 网 页 有 关 的 bug 的 数 
量 。 从 BITE 提 交 的 bug 附 有 很 多 数据 ， 包 括 有 问题 的 网 页 区 域 ， 因 此 很 
容易 把 这 些 bug 统 计 在 内 。 对 那些 用 老 的 方式 提交 的 bug， 包 括 issue 
tracker 和 Buganizer， 我 们 有 一 个 候 虫 程序 检查 每 个 bug， 和 寻找 可 以 用 来 
做 页 面 匹 配 的 URL， 按 照 匹配 程度 排序 。 例 如 ， 完 全 匹配 的 排 在 最 前 
面 ， 然 后 是 匹配 路 径 的 ， 最 后 是 只 匹配 URL 域 的 。 原 理 很 简单 ， 但 十 
分 有 效 。 

图 3.39 显 示 了 一 个 车 加 了 BITE bug 数 据 的 地 图 页 面 的 外 观 。 点 击 
bug IDs 可 以 打开 Buganizer 或 issue tracker 中 的 完整 的 bug 报 告 页 面 。 图 
3.40 显 示 了 YouTube 上 的 一 个 bug 车 加 显示 。 

3. 使 用 BITE 进 行 录制 和 回放 

SET 和 TE 的 大 量 时 间 论 费 在 开发 大 型 的 、 妆 到 并 的 回归 测试 用 例 
的 目 动 化 上 。 这 些 测试 非常 重要 ， 因 为 它们 用 来 确保 最 终 用 户 可 以 正 
党 地 使 用 产品 的 各 项 功能 。 绝 大 多 数 是 用 Java 编 写 的 ， 使 用 Selenium 来 
驱动 浏览 硕 和 表示 测试 用 例 逻 辑 。 但 这 个 方法 有 一 些 弱 点 。 


测试 逻辑 是 用 与 所 测试 的 应 用 不 同 的 语言 来 编写 的 (Java 
vsJavaScript) 。 这 是 Google 的 开发 和 测试 一 直 抱 怨 的 一 


个 共同 问题 。 
它 拖 慢 了 调试 ， 而 且 不 是 每 个 工程 师 都 想 学 习 所 有 语言 的 
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图 3.40 BITE: YouTube 主 页 上 的 bug 二 加 显示 


测试 代码 存在 于 浏览 器 之 外 ， 因 此 需要 进行 编译 和 二 进 制 代码 的 
部 署 。Matrix 测试 自动 化 乎 台 可 以 集中 管理 这 些 事情 ， 但 并 不 能 完全 


全 


的 解决 问题 。 
你 需要 在 浏览 器 和 本 地 应 用 之 外 ， 另 行 安 逆 一 套 IDE 并 为 要 测试 的 
项 目 做 好 配置 。 


TE 花 费 了 大 量 时 间 在 应 用 的 DOM 和 Eclipse IDE 之 间 跳 来 跳 去 。 他 
们 先 确 定 相关 元 素 的 XPaths， 再 把 它 写 入 Java 代 码 里 。 编 译 、 运 行 、 看 
结果 。 这 耗 时 费力 ， 令 人 厌倦 。 

Google 的 Web 应 用 频繁 地 更 改 DOM。 这 意味 着 测试 用 例 随 着 元 
素 在 页 面 中 的 移动 和 属性 的 变化 而 不 断 失 败 。 过 不 了 多 久 ， 测 试 团队 
就 得 花 不 少时 间 来 维护 现 有 的 测试 。 这 些 误 报 会 导致 开发 和 测试 最 终 
失去 耐心 ,干脆 名 略 测试 结果 ， 并 把 它们 标记 为 异常 以 便 不 会 妨碍 代 
码 的 提交 。 


作为 回应 ， 我 们 实现 了 一 个 称 为 Record and Playback framework 
(RPF) 的 纯 Web 的 解决 方案 ， 是 用 纯 JavaScript 实现 的 ， 并 将 测试 用 

ARRETE zm ° RPF 甚至 可 以 在 不 文 持 Selenium 和 WebDriver 测 试 
用 例 执 行 的 Chrome OS 上 运行 。 

录制 一 个 测试 ， 只 要 人 简 单 的 点 击 BITE 浏 蜗 器 菜单 中 的 Record and 
Playback， 一 个 狐 的 录制 对 话 框 束 会 出 现 。 当 按 下 录制 按钮 时 ， 这 个 对 
话 框 就 开始 记录 浏览 絮 主 视窗 中 的 所 有 点 击 动作 。 鼠 标 右 击 任意 元 素 
开启 验证 模式 ， 测试 人 员 可 以 验证 某 个 特定 字符 串 、 图 像 或 元 素 的 
值 。 验 证 还 可 以 是 菜 个 元 素 的 存在 及 其 在 页 面 上 的 相对 位 置 。 相 对 位 
置 对 YouTube 团 队 很 有 和 用， 因为 他 们 不 总 是 知道 哪个 视频 应 该 出 现在 
主页 上 ， 但 他 们 可 以 确定 总 的 页 面 布局 是 什么 样 的 。 

RPF 方 法 的 一 个 核心 设计 理念 ， 是 旨 在 避免 查看 应 用 的 DOM 和 在 
发 生变 化 时 重新 计算 元 素 的 XPaths 的 痛苦 。 我 们 精心 实现 了 能 停止 测 
试 的 代码 。 如 果 它 在 回放 时 无 法 找到 某 个 元 素 ， 它 就 会 和 暂停， 允许 TE 
简单 地 选择 新 的 元 素 ， 然 后 自动 地 更 新 脚本 并 继续 执行 。 团 队 还 实现 
了 我 们 称 之 为 “放松 式 执行 (relaxed execution) ”的 功能 。 简 单 地 说 ， 
RPF 不 是 严格 地 判断 某 个 元 素 是 否 与 期 望 的 XPath 匹配 ， 而 是 去 检查 此 
HTML 元 素 的 所 有 属性 及 其 父 、 子 元 素 。 在 回放 的 时 候 ，RPF 上 自 先 查找 
精确 匹配 ， 在 找 不 到 的 情况 下 查找 近似 匹配 。 也 许 ID 属 性 改变 了 ， 但 
其 余 都 是 相同 的 。 回 放 可 以 设置 为 任意 程度 的 匹配 精度 ， 如 果 匹 配 在 
容 差 之 内 ， 测 试 瓯 继续 到 下 一 步 并 简单 地 记录 一 条 警告 日 志 。 我 们 和 硕 
望 这 个 工作 可 以 节省 工程 师 大 量 的 时 间 。 

我 们 首先 在 Chrome Web Store 测 试 团 队 试 用 了 RPF， 大 约 90% 的 测 
试 场景 都 运行 正常 ， 主 要 的 例外 是 文件 上 传 对 话 框 (浏览 器 之 外 的 本 
地 OS 文件 对 话 框 ) Google Checkout 的 一 些 功能 (出 于 安全 原因 ， 某 
些 涉及 钱 的 场景 无 法 通过 web API 目 动 化 ) 。 我 们 最 有 趣 的 发 现 是 TE 
并 不 怎么 关心 那个 拉 风 的 放松 匹配 或 pause-and-fix &EPE, A EIS 


制 测试 反而 更 快 。 在 这 次 试用 中 ， 我 们 开发 了 两 套 测 试用 例 ， 一 个 是 
WebDriver 的 ， 一 个 是 RPF 的 。RPF 的 方案 生成 和 维护 测试 的 效率 比 
Selenium 和 WebDriver 高 出 7 倍 。 具 体 数字 可 能 有 出 入 ， 但 这 是 一 个 不 错 
的 开始 。 

RPF 还 可 用 于 文 持 BITE 中 的 bug 提 交 场 景 。 对 于 某 些 站 点 来 说 ， 
BITE 会 目 动 启动 录制 工程 师 的 活动 。 当 工程 师 发 现 一 个 bug 并 使 用 
BITE 来 提交 的 时 候 ，BITE 会 附加 一 个 指 同 生成 的 重 现 脚本 的 链接 。 例 
如 ， 在 Maps 上 ， 它 会 录制 所 有 的 搜索 和 缩放 活动 。 查 看 bug 的 开发 者 可 
以 点 击 回放 ， 看 到 用 户 在 过 到 这 个 bug 的 时 候 做 了 哪些 事情 。 如 果 在 探 
索 式 测试 或 在 正常 的 使 用 中 没有 提交 bug， 那 么 录制 的 脚本 会 被 直接 丢 
Ffi e 


带 RPF 的 BITE 的 起 源 (作者 : Jason Barbon) 


在 早期 的 Chrome OS 测试 中 ， 我 们 意识 到 其 核心 特性 “安全 ”将 会 增 
加 测试 的 难度 。 可 测试 性 和 安全 经 常 是 互相 矛盾 的 ，Chrome OS 又 是 极 
端 地 重视 安全 。 

在 早期 版 本 ， 部 分 地 支持 Java 虚 拟 机 ， 但 是 对 网 络 和 其 他 核心 库 的 
文 持 都 比较 弱 。 因 为 天 键 的 用 户 体验 是 基于 Web 浏 览 的 ， 我 们 实现 了 一 
些 核 心 的 Selenium 测 试 来 验证 Chrome OS 上 基本 的 浏览 器 功能 ， 以 为 只 
要 把 所 有 已 知 的 Selenium 测 试 移植 过 来 进行 回归 运行 就 可 以 了 。 

基本 的 测试 完成 并 运行 起 来 ， 但 很 快 就 过 到 了 Chrome 对 Selenium 
和 WebDriver 文 持 不 够 的 问题 。 假 期 归来 ， 我 们 发 现 Java 补 从 压 层 的 
Linux OS 删除 了 ， 以 进一步 减少 Chrome OS 的 安全 风险 。 这 导致 基于 
Java 的 测试 无 法 运行 ， 我 们 只 好 安装 了 一 个 Java 的 定制 版 本 ， 但 这 也 并 
AET 8 

Google 有 人 句 名 言 “ 资 源 越 少 ， 目 标 越 明了 (scarcity brings 
clarity) ”， 这 在 测试 领域 非常 的 明显 ， 尤 其 适用 于 我 们 目前 这 个 情 


况 。 我 们 对 现状 加 以 评估 ， 意 识 到 这 个 方法 不 够 好 。 我 们 构建 包含 Java 
的 Chrome OS ` WNAF (jar 文 件 ) 和 一 些 本 来 禁用 的 安全 特性 ， 然 后 运 
行 测试 。 然 而 ， 这 与 交付 给 客户 的 真实 生产 环境 的 配置 是 不 同 的 。 图 
3.41 所 示 为 早期 Chrome OS 测试 目 动 化 实验 宇 的 一 张 照 片 。 

我 们 很 快 就 想起 了 Po Hu (译注 BITE 团队 的 一 名 googler) 的 一 个 
外 在 通过 chrome 扩 展 使 用 JavaScript 进 行 网 页 自动 化 的 工作 ， 这 也 许 是 
一 个 解决 方案 。 以 前 有 一 套 纯 JavaScript 的 类 似 WebDriver 的 API， 称 为 
puppet ， 但 由 于 路 站 点 限制 ， 它 必须 与 被 测试 的 web 应 用 部 署 到 一 
起 。 也 许 我 们 可 以 把 这 个 puppet 脚本 放 到 Chrome 扩 展 里 去 来 解决 路 站 
点 的 问题 。 如 果 我 们 安装 了 这 个 扩展 ， 并 把 所 有 测试 都 保存 到 云端 而 
非 本 地 文件 系统 ， 不 就 可 以 在 Chrome OS 上 执行 浏览 器 测试 了 吗 ? 其 
至 是 在 从 商店 买 回来 的 Chromebook 上 。 从 时 间 安 排 上 看 ，Chrome OS 
version 1 赶不上 了 ， 但 工具 会 在 后 续 版 本 测试 前 完成 。 


A 


图 3.41 


E 


HH Chrome OS 测 试 实 验 室 


3S EE— AIA, BITE A M Z WN Web Test Framework, fa PR 
WTF。RPF 原 名 Flux Capacitor， 因 为 它 可 以 将 你 带 到 未 来 (译注 : Flux 


Capacitor 是 科幻 电影 里 时 光 机 的 组 成 部 件 ) 。 

4. 使 用 BITE 执 行 手 工 和 探索 式 测试 

在 一 次 测试 中 多 个 测试 人 员 的 分 工 上 ，Google 笑 试 了 很 多 种 方 
YE: 通过 TestScribe 难 用 的 UI， 以 及 更 常见 的 电子 表格 的 形式 (手工 建 
立 人 员 和 所 负责 的 测试 用 例 的 对 应 关系 ) 。 

BITE 支 持 测试 人 员 订 | 阅 Google Test Case Manager (GTCM) 中 多 
个 产品 的 测试 集 。 测 试 主管 在 安排 测试 时 ， 只 需要 在 BITE 服 务 器 上 点 
击 一 个 按钮 ， 丈 可 以 把 测试 用 例 通 过 BITE 的 UX 推 送 到 各 个 测试 人 员 。 
每 个 测试 都 有 一 个 关联 的 URL。 用 户 接受 任务 之 后 ，BITE 会 打开 该 
URL 并 显示 要 在 当前 页 面 执行 的 测试 步骤 和 验证 。 运 行 结束 时 ， 单 击 
标记 PASS， 系 统 目 动 打开 下 一 个 要 测试 的 URL。 如 果 测 试 失败 ， 系 统 
就 做 FAIL 标 记 并 启动 BITE 的 bug 报 告 界面 。 

这 个 做 法 已 经 成 功 地 用 于 众 包 测试 ， 外 包 测 试 人 员 在 安装 了 BITE 
的 浏览 器 中 执行 测试 ， 测 试 任 务 的 分 发 通过 BITE 进 行 。 这 减轻 了 管理 
大 量 测试 人 员 和 固定 式 的 分 配 测 试 任务 的 负担 。 测 得 快 的 测试 人 员 会 
目 动 地 收 到 更 多 的 测试 任务 ， 中 间 休 息 或 需要 停止 的 测试 人 员 ， 之 前 
被 分 配 的 任务 在 超时 之 后 会 被 推送 给 其 他 人 “。BITE 也 已 经 被 用 于 张 动 
探索 式 测 试 ， 每 个 高 层级 的 漫游 被 定义 为 一 个 测试 用 例 并 分 配 出 去 ， 
测试 人 员 在 漫游 产品 时 直接 通过 BITE 提 交 bug ° 

5.BITE 的 分 层 化 设计 

跟 所 有 软件 项 目 一 样 ， 我 们 也 考 虚 了 可 扩展 性 。BITE 具 有 接受 任 
意 脚本 并 注入 被 测试 页 面 的 能 力 。 若 干 分 层 业 已 形成 。 例 如 ， 其 中 一 
个 扩展 允许 开发 人 员 在 页 面 中 有 规律 地 剥离 元 素 以 便 定位 问题 ， 还 有 
一 个 扩展 引入 安全 团队 脚本 的 工作 正在 进行 中 。 这 些 可 以 在 一 个 小 控 
制 台 中 打开 和 关闭 。 我 们 还 在 探索 哪些 层次 是 工程 师 所 需要 的 。 

BITE 努 力 满足 所 有 测试 人 员 的 各 种 需求 。 起 初 这 些 特 性 都 是 各 自 
独立 的 扩展 ， 但 是 在 意识 到 整体 要 大 于 部 分 之 和 以 后 ， 我 们 着 手 进 行 


整合 ， 把 这 些 特性 都 集中 于 BITE 之 中 。 

跟 其 他 实验 一 样 ， 我 们 希望 能 在 不 久之 后 将 这 些 特性 开放 给 更 大 
的 测试 社区 。 

BITE 项 目 已 经 开源 ( 见 附件 C) ° Alexis O.Torres 是 前 技术 主管 ; 
Jason Stredwick 是 现任 技术 主管 ， 成 员 包 括 Joe Muharsky ^ Po Hu ^ 
Danielle Drew ^ Julie Ralph 和 Richard Bustamante。 他 们 在 工作 之 余 一 
起 完成 BITE 项 目 。 到 本 书写 作 之 时 ， 有 几 个 公司 已 经 将 BITE 移 植 到 
他 们 自己 的 平台 之 上 ， 同 时 FireFox 和 IE 的 移植 也 在 进行 中 。 


3.2.10 Google Test Analytics 


如 前 文 所 述 ， 风 险 分 析 极 端的 重要 ， 但 却 经 肖 用 各 种 私 制 的 电子 
表格 来 实现 ， 或 者 更 糟 ， 仅 攒 拍 脑 袋 决定 。 电 子 表 格 方式 存在 以 下 几 


个 缺点 。 
各 种 私 制 的 电子 表格 格式 不 统一 ， 无 法 汇总 数据 ， 难 以 器 项 目 分 
析 和 比较 。 


一 些 简 单 但 却 重要 的 东西 如 ACC 中 的 4 分 制 的 评价 机 制 和 命名 方 
式 ， 在 这 些 电子 表格 中 有 时 会 被 裁剪 抒 。 

不 同 团 队 之 间 的 工作 透明 性 十 分 有 限 ， 因 为 不 存在 一 个 中 心 库 ， 
大 家 只 是 按照 需 知 原则 进行 临时 性 的 分 享 。 

实现 风险 分 析 到 产品 指标 的 关联 所 需要 的 工作 量 很 大 ， 一 般 不 会 
被 电子 表格 文 持 。 

Google Test Analytics (GTA) 笑 试 解决 这 些 问题 。GTA 是 一 个 方便 数 
据 输 入 和 风险 可 视 化 的 web 应 用 。GTA 的 UI 设计 结合 了 ACC 的 最 佳 实 
践 。 通 过 统一 数据 格式 ， 经 理 和 总 监 们 可 以 在 一 个 视图 中 看 到 各 种 产 
品 的 风险 ， 易 于 定位 高 风险 领域 并 分 配 资源 。 


GTA 文 持 基于 ACC 模型 的 风险 分 析 。 特 质 和 组 件 通 过 快 易 表单 输 
入 并 生成 一 个 表格 ( 见 图 3.42 和 图 3.43) 。 测 试 计划 者 可 以 在 表格 的 交 
叉 点 添加 能 力 〈 见 图 3.44) 。 对 各 能 力 点 ， 只 需要 从 下 拉 列 表 中 选择 频 
率 和 影响 值 即 可 完成 风险 输入 。 这 些 数 据 会 被 汇总 到 风险 视图 。 简 单 
的 ， 各 领域 的 总 风险 ( 见 图 3.45) 是 各 能 力 点 风险 的 平均 值 (是 的 ， 
一 个 高 风险 的 能 力 会 被 许多 其 他 很 低 风 险 的 能 力 掩盖 住 。 这 并 不 经 常 
发 生 ， 但 GTA 秉 承 了 简单 的 设计 理念 ， 它 不 会 代替 常识 和 审慎 分 
WT) ° 
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Attributes are ways a marketer would describe yo "Fast" or "Secure" 


ur application, such as "Fa: 
Attributes in the ACC model allow you to map Capabilities to business requirements. Leam mor 


Social x 


new label 


L The tests performed for this attribute are sufficient to verify its operation. 


Expressive 


new label 


C The tests performed for this attribute are sufficient to verify its operation. 
Easy 


new label 


C The tests performed for this attribute are sufficient to verify its operation. 
Extensible 


new label 


C The tests performed for this attribute are sufficient to verify its operation. 
[ Private 
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A 213.42 Test Analytics: 输入 Google+ 的 特质 
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Components 


Components are the ‘moving parts' of your application. Typically components are core libraries, data 
sources, parts of the code base, and so on. Leam more 


|+ new label 


C The tests performed for this attribute are sufficient to verify its operation. 
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A 213.43 Test Analytics: 输入 Google+ 的 组 件 


Google test analytics 


Capabilities by Attribute and Component 
Social Expressive Easy Extensible Private 


1 2 1 1 
1 1 
1 
1 


ae | a| ome] AD] oe] oe] oe | ee] OW 


1 
1 
1 
1 
4 
1 
1 
1 


- Additional users can be added to an existing hangout. x 


Name: Additional users can be added to an existing hangout. 
+ mewlabel | 
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A [£3.44 Test Analytics: 在 表格 的 交 义 点 输入 能 力 ， 注 意 计数 表示 能 力 点 的 数量 而 非 风险 
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Google test analytics 


This shows the Total Risk to your application, taking into account any Risk Sources as well as 
Mitigation Sources that are checked below. Learr 


k œ Bugs MCodechum Test coverage 
Risk displayed by Attribute and Component 


Social Expressive Easy Extensible Private 


A 图 3.45 Test Analytics: Google+ 的 风险 热 图 

GTA 的 一 个 可 选 的 实验 性 的 功能 是 将 风险 计算 绑 定 到 真实 项 目 数 
据 。 随 独 测 试用 例 的 增加 、 代码 的 增加 、 发 现 的 pug 数 量 的 增加 ， 风 险 
评估 也 在 发 生变 化 。 作 为 TE， 我 们 总 是 在 脑子 里 跟 踩 风险 的 变化 ; 这 
不 过 更 加 系统 化 和 数据 驱动 。 测 试 计划 ， 甚 至 是 ACC/ 基 于 风险 的 ， 经 
第 推动 了 开始 的 计划 工作 ， 这 很 好 ， 但 很 快 束 变 成 死 文 要 了 。 相 比 之 
下 ， 随 着 你 得 到 更 多 有 关 风 险 、 能 力 等 的 数据 ，GTA 是 随时 可 以 更 新 
的 ， 而 且 我 们 应 该 尽 可 能 地 去 自动 更 新 。 

GTA 目前 只 文 持 内 部 数据 库 的 绑 定 ， 通 用 化 的 工作 正在 进行 中 。 
TE GTA 中 ， 测 斌 人员 可 以 输入 各 能 力 点 的 bug 数 据 库 、 代 码 树 和 测试 
用 例 的 位 置 或 查询 。 在 Google， 大 家 都 使 用 相同 的 数据 库 ， 使 得 这 件 
事 简 单 易 行 。 随 着 这 些 指标 的 变化 ， 通 过 简单 的 线性 代数 来 更 新 风险 
级 别 。 目 前 ， 这 个 功能 正在 几 个 应 用 团队 试用 。 


我 们 使 用 的 公式 随时 会 发 生变 化 ， 因 此 就 不 在 这 里 公布 了 『。 它 大 
re a 代码 行 的 变 化 - 测试 用 例 的 运 

结果 的 度量 。 风 险 的 各 个 变量 可 以 按照 项 目 差异 进行 调整 ， 因 为 一 
We 图 3.46、 图 
3.47 和 图 3.48 以 Google Sites 为 例 进 行 了 展示 。 
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Enabling data providers will enable new ways to view Risk associated with your application 
Howewvi ler for those Risk views to work you must also begin Uploading data ip Google Test 
Analytics. Leam mors 


Data source 


Buganizer $ | Add data request 


Existing Requests 
Existing data requests will be continually imported by extemal tools. Lear 


Li 
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图 3.46 Test Analytics: 链接 数据 源 到 风险 
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Google test analytics 


Project Testcases 
The following testcases have been uploaded to your Google Test Analytics project. Learn more 
Showing 928 Testcases 


| 
| 
E 


Data Filters 


A 213.47 Test Analytics: 链接 的 测试 


GTA 有 一 个 容易 被 忽视 但 却 非常 重要 的 特性 : 测试 人 员 可 以 很 快 
地 把 能 力 列 表 变 成 一 次 测试 执行 。 这 是 各 团队 要 求 的 最 多 的 一 个 功 
能 。 能 力 包 括 了 一 个 简单 的 概要 测试 用 例 列 表 ， 在 软件 发 布 之 前 应 当 
被 运行 。 对 于 那些 较 小 的 或 探索 式 测试 为 主 的 团队 ， 例 如 Google 
Docs， 这 个 列表 作为 一 个 测试 用 例 数 据 库 完 全 够 用 了 。 
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The following bugs have been uploaded to your Google Test Analytics project. Leam more 
Showing 5482 Bugs 
Attribute Component Capability 


mprove diagnostic messages for omnipresent constructor registry errors 
Improve Deferred error handling (b 

Q sercontent pages need an option to not auto-marshall main/text [> 
js pulled from a object/json property marshalls differently than otherjs (^? 
client-side template rendering should appropriately escape output (^l 
iupply property type metad hen marshalling so on client-side we ca 


Z 


HIP 


图 3.48 Test Analytics: 链接 的 bug 


TE 可 以 使 用 GTA 中 这 些 测试 执行 背后 的 ACC 和 矩阵 来 分 配 测试 人 
员 。 测 试 人 员 传 统 上 按照 组 件 领域 来 分 派 ，ACC 则 提供 了 另外 一 种 有 
用 的 视角 一 一 按照 特质 进行 测试 。 安 排 人 手 负 责 某 个 跨 产 品 功能 特质 
的 测试 ， 而 非 专 门 负 责 某 个 组 件 的 测试 ， 我 们 已 经 获得 了 一 些 成 功 。 
如 采 一 个 人 被 安排 测试 Fast 特 质 ， 他 就 可 以 看 到 这 个 产品 所 有 相关 的 组 
件 在 这 次 测试 中 性 能 如 何 。 这 种 视角 有 助 于 我 们 发 现 那 些 在 单独 测试 
时 被 认为 足够 快 ， 但 整体 看 却 相对 慢 的 组 件 。 

如 何 汇 总 跨 项 目的 风险 值得 一 说 。GTA 还 不 具备 该 能 力 ， 但 各 个 
项 目 应 该 有 自己 的 ACC 分 析 ， 风 险 的 评价 只 要 考虑 目 身 即 可 ， 不 需要 
考虑 相对 于 其 他 产品 的 重要 性 。 然 后 ， 具 有 路 多 个 产品 视野 的 人 ， 在 
做 路 项 目 风险 的 汇总 时 ， 应 当 使 用 不 同 的 权重 系数 。 你 的 项 目 是 一 个 
小 型 的 只 有 几 个 工程 师 使 用 的 内 部 工具 ， 并 不 意味 着 你 不 可 以 在 ACC 
评 佑 时 给 出 最 大 的 风险 值 。 把 相对 风险 评估 和 留 给 那些 有 器 项 目 视 野 的 


> 


人 去 做 。 当 对 一 个 产品 进行 风险 分 析 时 ， 不 妨 把 它 当 做 公司 的 唯一 产 
品 ， 这 样 ， 它 总 会 有 最 大 影响 或 高 发 生 率 的 可 能 。 

我 们 期 望 能 公开 GTA ， 并 在 不 久 后 开源 。 目 前 ，GTA 在 其 他 大 公 
司 还 处 于 实地 测 斌 阶段。 开源 的 目的 ， 是 其 他 测试 团队 可 以 在 Google 
App Engine 上 运行 他 们 目 己 的 实例 ， 或 者 移植 到 他 们 目 己 运营 的 不 同 的 
技术 平台 上 * 

GTA 由 在 使 风险 分 析 足 够 的 简单 和 实用 ， 以 便 人 们 能 够 真正 的 用 
起 来 。Jim Reardon 实 现 了 GTA 并 负责 维护 开源 代码 ( 见 附件 C) 。 到 此 
文 写 作 时 ， 其 他 大 型 的 云 测 试 公司 正在 考虑 将 这 种 风险 分 析 方 法 集成 
到 他 们 的 核心 流程 和 工具 中 (Salesforce 是 其 中 之 一 ，Salesforce.com 的 
Phil Waligora 正 在 考虑 将 此 集成 到 它 的 内 部 工具 体系 中 ) ， 多 达 200 名 
外 部 人 士 已 经 报名 使 用 托管 版 本 的 GTA。 


3.2.11 测试 流程 


Google 竭 尽 全 力 地 压缩 每 一 毫秒 响应 时 间 ， 使 系统 尽 可 能 地 高 效 
以 适合 规模 化 。Google 同 样 布 望 免费 提供 产品 。TE 对 于 工具 和 流程 的 
态度 亦 然 。Google 要 求 我 们 高 瞻 远 瞩 ， 为 什么 不 挑战 一 下 将 测试 成 本 
缩减 到 近乎 为 零 的 理想 呢 ? 

如 末 我 们 可 以 使 测试 零 成 本 化 ， 小 公司 束 会 进行 更 多 的 测试 ， 而 
创业 型 公司 也 至 少 会 做 一 点 测试 。 零 成 本 的 测试 意味 着 更 好 的 互联 
网 ， 而 更 好 的 互联 网 对 用 户 、 对 Google 来 说 都 更 美好 。 

下 面 是 关于 人 免费 测试 特征 的 一 些 想法 。 

瞬间 可 得 的 测试 结 

极 少 或 者 无 需 人 工 干 预 。 

非常 灵活 ， 因 为 没有 万 灵 丹 。 


我 们 将 此 志向 限制 在 Web 领域 ， 以 使 问题 更 易 驾 驭 、 更 有 意义 ， 
并 与 Google 的 绝 大 多 数 项 目 一 致 。 我 们 的 想法 是 ， 如 果 可 以 先 把 Web 
测试 的 问题 解决 掉 ， 到 成 功 之 日 ， 世 界 将 进入 云 的 世界 ， 我 们 就 可 以 
忽略 掉 那 些 类 似 驱动 和 COM 的 先天 性 痛苦 了 。 我 们 知道 ， 如 果 设 定 了 
免费 的 目标 ， 即 使 结果 并 不 完美 ， 也 会 收获 一 些 有 趣 的 果实 。 

我 们 现 有 的 免费 模型 ， 极 大 地 减 小 了 测试 成 本 。 我 们 开始 在 自己 
的 实验 室 和 工程 项 目 中 受益 了 ， 如 图 3.49 所 示 。 这 种 测试 流程 的 要 点 如 
(s 

(1) 通过 GTA 进 行 测试 计划 : 基于 风险 的 、 快 速 的 、 可 以 自动 化 
更 新 的 。 

(2) 测试 覆盖 度 ， 每 当 一 个 产品 部 署 了 新 版 本 ，bot 就 会 连续 抓 取 
网 站 、 索 引 内 容 、 扫 描 差 异 。bot 可 能 不 会 区 分 回归 和 新 特性 ， 但 它们 
可 以 发 现 所 有 变化 并 交 给 人 工 去 做 筛选 。 

(3) bug 评 审 ， 当 产品 的 差别 被 发 现时 ， 它 们 会 被 自动 的 转 给 人 
工 去 做 快速 判断 。 是 回归 还 是 新 特性 ? 在 进行 差别 检查 时 ，BITE 可 以 
提供 现 有 的 bug 和 丰富 的 测试 上 下 文 信息 。 

(4) 探索 式 测试 ,频繁 的 探索 式 测试 由 外 包 测试 人 员 和 早期 用 户 
执行 。 这 会 捕 提 到 与 配置 、 上 下 文 相关 的 bug， 以 及 其 他 各 种 各 样 非常 
难以 发 现 和 报告 的 bug 。 

(5) bug 提 交 : 只 需要 点 击 几 次 鼠标 就 可 以 提交 bug， 并 且 大 量 相 
关 数 据 被 自动 附 上 ， 包 括 问题 的 精确 位 置 、 截 屏 和 调试 信息 。 

(6) Bug triage 和 调试 ， 开 发 或 者 测试 经 理 能 看 到 近 平 实时 的 bug 
趋势 图 、 需 要 用 来 分 析 失败 原因 的 丰富 的 bug 数 据 ， 甚 至 是 bug 发 现 过 
程 的 一 键 重 放 。 


图 3.49 端 到 端的 免费 测试 流程 
(7) 部 署 新 的 版 本 并 回 到 第 一 步 。 重 复 上 述 步骤 。 

Web 测 试 的 平台 和 流程 正 变 得 越 来 越 目 动 化 和 搜索 化 。 前 述 测 试 方 
法 的 核心 价值 在 于 ， 测 试 人 员 无 需 为 了 发 现 少 数 几 个 可 能 发 生 回归 的 
特性 变化 ， 而 去 手工 执行 成 百 上 千 的 回归 测试 。 这 些 bot 可 以 7x24 小 时 
的 运行 ， 儿 分 钟 内 就 能 完成 一 个 测试 周期 ， 而 不 是 几 小 时 或 几 天 ， 
此 ， 它 可 以 更 频繁 的 运行 ， 更 早 的 发 现 回归 。 

bot 流 程 最 强大 的 一 点 ， 是 从 产品 新 版 本 的 部 署 到 bug 的 发 现 之 间 的 
间隔 很 短 。bot 可 以 7x24 小 时 运行 ， 从 包 人 员 7x24 小 时 可 用 ， 因 此 开发 
在 部 署 产 品 以 后 ， 很 快 就 能 得 到 代码 变更 效果 的 反馈 。 有 了 持续 的 构 
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发 还 记得 很 清楚 。 

基本 流程 对 于 Web 页 面 非 第 有 效 ， 但 也 应 该 可 以 应 用 到 纯 数 据 应 
用 、 客 户 问 的 UX 项 目 、 或 者 平台 产品 。 考 虑 同时 部 署 产品 或 系统 的 不 
同 版 本 ， 考 虑 抓 取 和 索引 的 对 应 手段 。 相 似 的 模式 对 这 些 测试 问题 也 
可 能 有 效 ， 但 这 超出 了 本 书 的 范围 。 


测试 创新 和 实验 〈 作 者 : Jason Arbon) 


Google 支 持 实验 性 项 目的 文化 带 来 了 很 多 创新 ， 同 时 也 堆积 了 不 
少 失败 的 实验 。 即 使 好 的 解决 方案 已 经 存在 ， 工 程 师 们 还 是 可 以 重新 
思考 测试 、 计 划 和 分 析 的 整套 方法 一 一 这 正 是 他 们 的 职责 上 所在， 不 会 
受到 阻拦 。 

James Whittaker 加 入 Google 后 ， 最 先 做 的 事情 之 一 就 是 主办 内 部 技 
术 讨 论 ， 宣 传 他 对 软件 测试 未 来 的 看 法 。 他 说 ， 软 件 测试 应 该 像 电子 
游戏 一 一 允 像 第 一 人 称 视角 的 射手 那样 ， 通 过 在 被 测试 应 用 之 上 的 三 
加 ， 展 示 掌 握 所 有 上 下 文 信息 。 我 们 不 会 想到 他 在 GTAC 的 演讲 

(James Whittaker 关 于 测试 的 未 来 的 GTAC 演 讲 可 以 在 YouTube 上 找 

到 : http://www.youtube.com/watch?v=Pug_5TI2UxQ) 将 会 启蒙 未 来 几 
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客户 端 应 用 上 的 真实 案例 。 当 然 ， 要 实现 通用 化 文 持 所 有 客户 端 应 
用 ， 困 难 还 是 比较 大 的 。 

在 James 的 演讲 过 程 中 ， 一 开始 ， 我 对 他 那 激进 的 想法 持 怀 疑 态 
度 ， 但 是 后 来 突然 意识 到 ， 通 过 新 的 Chrome 扩 展 API， 很 快 就 能 实现 一 
个 在 浏览 器 里 运行 测试 的 Web 应 用 工具 。 我 为 这 个 想法 兴 否 不 已 ， 接 下 
来 的 一 周 着 手 实现 了 一 个 原型 。 我 停 掉 了 日 常 工作 ， 甚 至 整个 周末 都 
MER Se OE, ERA 
点 担心 这 是 不 是 某 种 前 兆 。 


很 快 我 就 完成 了 一 个 演示 版 ， 前 端 是 Chrome 插 件 ， 与 Python App 
Engine 的 后 端 (App Engine 是 Google 托 管 网 站 或 服务 的 云 服 务 平台 。 今 
天 ， 测 斌 人员 经 常 使 用 App Engine 开 发 工具 和 和 平台， 因为 它 文 持 快速 的 
应 用 搭建 ， 并 且 可 以 人 免费 至 受到 Google 的 规模 化 优势 。 
http://appengine.google.com ° 目前 支持 Java、Python 和 Go 语言 。) 
讯 ， 并 模拟 了 到 bug 数 据 库 的 调用 。 这 个 工具 能 够 演示 以 下 几 点 。 

将 bug 信息 受 加 到 一 个 页 面 ， 甚 至 是 特定 的 元 素 上 。 

将 测试 用 例 信 息 县 加 到 被 测试 的 页 面 上 ， 并 显示 一 个 Pass/Fail 按 钮 
用 于 记录 测试 结果 ( 见 图 3.50) 

显示 其 他 测试 人 员 的 足迹 和 使 用 的 数据 值 的 热 图 ( 见 图 3.51) 
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A 图 3.51 测试 覆盖 度 热 图 
我 移 在 “google.com” 上 试用 ， 然 后 开始 党 试 其 他 的 站 点 也 没有 问 
题 。 我 找到 James， 给 他 做 了 演示 并 征求 他 的 意见 。James 和 我 变 得 非 
常 兴 理 ， 我 们 的 讨论 写 满 了 整个 白板 ， 这 很 快 怠 成 为 前 述 实验 的 监 
图 。 我 给 Pat Copeland 和 James 发 送 了 一 个 简短 的 电子 邮件 ， 告 诉 他 们 我 
正在 做 的 事情 ， 并 将 转 到 James 团队 。 没 有 任何 问题 被 提出 来 一 一 这 
个 变化 通过 一 次 电子 邮件 就 完成 了 。 


每 个 子 实验 以 类 似 的 方式 运行 一 一 每 个 工程 师 各 有 任务 和 设计 ， 
并 与 其 他 同事 自由 合作 。 最 主要 的 管理 是 确 你 大 家 的 工作 是 可 复 用 
的 、 可 共享 的 ， 避 人 免 局 限 性 。 即 使 在 他 们 实现 单一 特性 的 时 候 ， 也 要 
求 他 们 想 得 更 全 面 一 些 。 

Google 的 分 享 文化 一 一 文 持 自 接 向 上 的 实验 ， 以 及 组 织 上 的 灵活 
性 提供 了 测试 创新 的 肥 活 土壤。 除非 付 诸 实 现 和 应 用 到 真实 问题 ， 你 
永远 都 不 会 知道 结果 是 成 还 是 败 。Google 允 许 工 程 师 莹 试 新 鲜 的 想 
法 ， 只 要 他 们 知道 如 何 衡量 成 功 。 


3.2.12 外 部 供应 商 


RE Google 拥有 优秀 的 测试 人 才 ， 但 我 们 仍然 意识 到 自己 的 能 
DEARA ° 7EGoogle, HAAI > MEDIA A EAM, £63 
需要 专门 的 测试 技能 。 我 们 并 不 总 是 有 时 间 提 高 测试 技能 或 招聘 新 
人 ， 因 为 这 些 都 不 一 定 能 赶 得 上 项 目的 进展 。 现 在 ，Google 存 在 着 从 
设备 、 固 件 、 操 作 系 统 到 支付 系统 的 各 种 类 型 的 项 目 ， 任 务 范 围 从 修 
改 操作 系统 的 内 核 到 修改 远程 驱动 的 宣 UI、 到 设备 在 各 种 电视 上 能 否 
正常 工作 。 

我 们 意识 到 自己 的 能 力 有 限 ， 所 以 束 诉 诸 于 专家 的 帮助 ， 包 括 外 
部 供应 商 代 理 。Chrome OS 是 一 个 好 例子 。 我 们 预 完 认 识 到 Wi-Fi 和 3G 
连接 是 最 大 的 风险 。 操 作 系 统 的 这 一 部 分 和 物理 设备 在 不 同 制 造 商 之 
间 变 化 很 大 ， 而 一 个 没有 Internet 链接 的 云 设备 就 不 怎么 有 用 了 。 另 
外 ， 安 全 更 新 和 软件 补丁 都 是 通过 网 络 传送 的 ， 而 网 络 掉 线 会 损害 这 
些 重 要 的 特性 。 当 时 ， 有 一 家 公司 正 遭 受 3G"“ 传 导 链 接 性 问题 ”的 困 
扰 。 因 此 ， 我 们 绝 不 能 把 这 些 功 能 的 测试 交 给 好 心 好 意 但 却 不 够 专业 
的 人 。 


因为 刚 进入 消费 电子 领域 ，Google 内 部 没有 任何 人 拥有 物理 测试 
设备 ， 即 使 有 也 没 人 会 用 。 那 时 的 测试 是 这 个 样子 的 : 机 架 上 放 着 20 
台 左 右 的 商用 Wi-Fi 路 由 器 ， 测 试 人 员 坐 在 旁边 的 工 位 上 ， 试 着 手工 完 
成 路 由 器 的 切换 。 几 周 之 内 ， 我 们 束 收 到 了 供应 商 的 报告 ， 指 出 如 有 果 
APE Ze P EH ae I INO ATR, AURI ae 
[a] el DI ARE SAMAR (EB Alion Test Labs 的 Ryan Hoppes 和 Thomas 
Flynn 在 帮助 我 们 完成 便 件 和 网 络 测试 和 认证 过 程 中 发 挥 了 非常 重要 的 
作用 ) 。 还 有 其 他 一 些 问题 与 使 用 原型 硬件 和 板 卡 相关 。 随 即 我 们 驶 
得 到 了 如 疼 3.52 和 疼 3.53 所 示 的 严重 的 吞吐 率 的 下 降 。 这 完全 是 意料 之 
外 的 事情 。 参 考 这 个 数据 ， 开 发 人 员 得 以 在 内 部 使 用 阶段 就 完成 了 问 
题 的 修复 。 


Rate vs. Range 


——802.11n 
mm 802.119 
s 802.116 


a 
F- 
£ 
© 
* 
c 


-51 dB -61d  -71dB  -B1dB  -91dB -101 dB 


Range (dB) 


A 213.52 rate vs.range 的 预期 曲线 
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有 意思 的 是 ， 在 Google， 甚 至 较 低层 级 的 工程 师 也 可 以 联络 外 部 
供应 商 。 快 速 行动 才能 快速 交付 。 现 在 ， 我 们 自己 拥有 了 这 类 测量 设 
施 并 继续 倚 助 供应 商 的 专长 。 在 Chrome OS 推 向 世界 之 际 ， 善 用 外 部 供 
应 商 、 快 速 开 展 工作 的 能 力 ， 对 于 保证 真实 环境 下 稳定 的 网 络 连通 性 
发 挥 了 关键 性 的 作用 。 

与 外 部 供应 商 的 这 种 伙伴 关系 ， 还 带 来 了 一 个 意料 之 外 的 好 处 。 
我 们 请 他 们 评审 一 个 硬件 合格 性 测试 (Hardware Qualification Tests) 列 
表 。 这 些 测试 是 我 们 要 求 硬件 厂商 在 将 他 们 的 设备 送 到 Google 来 做 进 
一 步 测 试 之 前 要 运行 的 ， 以 减少 硬件 来 回 运 送 的 麻烦 。 通 过 评审 ， 他 
们 不 但 发 现 了 一 些 遗 漏 区 ， 还 好 心地 修改 了 所 有 测试 用 例 的 格式 ， 使 
之 与 他 们 之 前 看 到 的 其 他 硬件 合格 性 测试 相 一 致 。 这 确保 了 我 们 交 给 
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态度 寻求 外 部 专家 的 帮助 ， 这 会 带 来 回报 。 


3.3 与 Google Docs 测 试 工 程 师 林 赛 .韦伯 斯 特 
(Lindsay Webster) 的 访谈 


Lindsay Webster 是 Google Docs 的 TE， 工 作 地 点 在 纽约 。Lindsay 是 
一 名 严肃 的 工程 师 ， 在 公司 内 部 的 名 气 很 大 ， 是 那 种 “有 困难 就 找 她 ” 
的 测试 专家 (go-to tester) 。 她 有 能力 影响 开发 团队 去 提高 他 们 的 测试 
水 准 。 她 的 工作 方式 、 影 响 团队 和 产品 质量 的 方式 堪 称 Google TE 的 楷 
模 。 

本 书 作者 最 近 与 Lindsay 进 行 了 一 次 访谈 ， 了 解 她 对 测试 的 看 法 。 

HGTS: 你 如 何 参与 一 个 新 项 目 呢 ? 你 首先 会 提出 哪些 问题 、 做 哪 
些 事情 ? 

Lindsay: 对 于 一 个 新 项 目 ， 我 首 移 要 站 在 用 户 的 角度 了 解 这 个 产 
品 。 有 可 能 的 话 ， 我 会 作为 一 个 用 户 ， 以 目 己 的 账户 和 个 人 数据 去 使 
用 产品 。 我 努力 使 自己 经 历 完整 的 用 户 体 验 。 一 旦 有 自己 的 真实 数据 
在 里 面 ， 你 对 一 个 产品 的 期 香 会 彻 确 改变 。 在 具备 了 用 户 心态 之 后 ， 
我 会 做 下 面 的 一 些 事情 。 

从 头 到 尾 的 理解 产品 。 不 管 是 整体 的 设计 文档 ， 还 是 主要 功能 的 
设计 文档 ， 我 都 会 去 看 。 只 要 有 文档 ， 我 束 看 。 

在 消化 了 这 些 文档 之 后 ， 我 开始 天 注 项 目的 状态 ， 特 别 是 质量 状 
态 。 我 会 去 了 解 bug 数 量 、 问 题 的 分 组 方式 、 已 经 报告 的 bug 类 型 、 最 
长 时 间 未 处 理 的 bug、 最 近 一 些 bug 的 类 型 等 ， 我 还 会 看 一 下 发 现 一 修 
复 比 例 。 


HGTS: 是 按照 每 个 开发 人 员 还 是 整个 团队 ? 

Lindsay: 都 有 ! 不 奔 张 地 说 ， 只 有 熟悉 了 团队 的 全 有 狐 ， 才 能 真正 
有 效 的 展开 工作 。 

我 还 会 去 检查 应 用 的 代码 库 。 对 每 一 个 大 一 点 的 类 ， 我 会 寻找 天 
联 的 单元 测试 ， 并 且 运 行 这 些 测试 查看 是 否 能 够 通过 。 这 些 测试 用 例 
ERAM? 是 否 完 整 ? 有 集成 或 端 到 端的 测试 用 例 吗 ? 它们 仍然 通过 
吗 ? 历史 的 通过 率 是 多 少 ? 这 些 测试 用 例 只 是 基本 场景 ， 还 是 也 和夫 许 
到 了 边界 情况 ? 代码 库 的 哪些 包 变 化 最 多 ? 哪些 已 经 很 长 时 间 没 有 变 
更 了 ? 开发 人 员 在 测试 方面 的 文档 工作 是 否 非常 随意 。 

我 还 会 评审 所 有 目 动 化 测试 。 有 目 动 化 测试 吗 ? 是 否 还 在 运行 且 
能 运行 通过 吗 ? 不 管 怎 样 ， 我 都 要 去 检查 测试 代码 ， 理 解 每 个 测试 步 
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在 看 完 所 有 文档 之 后 ， 接 下 来 是 团队 。 我 会 了 解 他 们 沟通 的 方式 
和 对 测试 人 员 的 期 望 。 如 有 果 他 们 使 用 电子 邮件 列表 ， 我 会 全 部 加 入 ; 
如 果 有 团队 IRC 或 其 他 的 实时 通讯 方式 ， 我 也 会 加 入 。 

询问 他 们 对 测试 的 期 望 ， 会 帮助 发 现 开发 团队 没有 测试 过 的 内 
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HGTS: 仅仅 是 想 一 下 这 些 工 作 我 都 已 经 感到 疲惫 不 堪 了 ， 真 的 非 
常 感谢 像 你 这 样 的 测试 人 员 ! 一 旦 熟悉 了 这 些 文档 和 人 事 ， 就 只 剩 下 
实施 了 ， 对 吧 ? 

Lindsay: ÆW! 侦查 结束 ， 束 该 开始 干 正事 了 。 第 一 件 事 是 把 应 
用 分 解 为 合理 的 功能 模块 ， 有 一 后 重 登 没 有 关系 。 分 解 不 能 太 细 ， 以 
免 纠 缠 于 细 证 ;但 也 不 能 太 粗 ， 必 须 细 致 到 可 以 罗列 子 模块 和 功能 。 
有 了 功能 模块 ， 就 可 以 排列 测试 的 优先 级 了 。 风 险 最 大 的 是 哪 部 


4) Ue? 


到 这 里 ， 我 会 再 次 检查 bug 库 。 这 次 是 按 模块 对 bug 进 行 分 组 。 这 
将 加 快 已 有 bug 的 查找 ， 减 少 重 复 的 bug， 更 容易 骏 露 不 断 重 现 的 问 
题 o 

接 下 来 ， 我 会 按照 优先 级 顺序 更 加 细致 地 遇 历 所 有 模块 ， 创 建 用 
户 故 事 (译注 : user story) 。 对 于 那些 需要 详细 的 步骤 说 明 才 能 决定 
pass/fail 的 特性 ， 通 常会 编写 测试 用 例 并 链接 到 相应 模块 的 用 户 故 事 。 
针对 比较 奇怪 的 bug， 尽 量 附 加 上 屏幕 截图 、 视 频 、 快 速 参考 ， 或 者 指 
回 现 存 bug 的 链接 。 

有 了 测试 集合 ， 我 接 下 来 会 通过 再 次 检查 bug 和 应 用 来 寻找 覆盖 度 
上 的 不 足 。 测 试 人 员 做 的 很 多 事情 是 周期 性 的 。 此 时 ， 我 会 查看 不 同 
类 型 的 测试 ， 检 查 覆 盖 情 况 : 安 人 全、 兼容 性 、 集 成 、 探 索 式 的 、 回 
归 、 人 性能、 负载 等 。 

有 了 这 些 基 础 材料 ， 我 的 工作 通常 只 是 维护 和 更 狐 ， 更 新 测试 用 
例 ， 增 加 新 特性 的 文档 ， 更 新 变化 了 的 模块 的 截屏 或 视频 。 最 后 ， 观 
察 哪些 bug 遗 漏 到 了 生产 环境 ， 会 告诉 我 们 测试 覆盖 上 的 不 足 。 

HGTS: 身 为 TE， 在 你 的 工作 中 如 何 代表 用 户 呢 ? 

Lindsay: 我 把 自己 变 成 用 户 ， 束 这 么 简单 。 我 认为 ， 除 非 能 以 某 
种 方式 将 目 己 置 于 用 户 的 视角 ， 否 则 就 不 可 能 真正 有 效 地 对 一 个 应 用 
进行 测试 。 这 就 是 为 什么 测试 远 比 检查 一 个 版 本 是 否 可 用 要 复杂 得 多 
的 原因 ; 它 包 括 应 用 的 直观 性 、 行 业 标 准 等 各 方面 的 反馈 。 换 句 话 
说 ， 测 斌 要 清楚 地 指出 当做 之 事 。 

HGTS: 对 于 你 的 工作 ， 开 发 是 怎么 看 待 的? 如 果 他 们 不 认可 测试 
的 价值 ， 那 你 又 该 怎么 办 ? 

Lindsay: 开发 经 常会 低估 我 的 工作 ， 直 到 我 们 在 一 起 工作 了 几 个 
月 之 后 ， 他 们 才 会 改变 想法 。 我 在 完成 了 上 述 工作 之 后 ， 将 邀请 整个 
团队 开会 ， 介 绍 一 下 我 设 定 的 测试 流程 。 这 种 面对面 的 交流 真 的 很 重 
要 ， 我 可 以 利用 这 个 机 会 让 他 们 看 到 我 是 多 么 认真 严肃 地 看 得 他 们 的 


应 用 。 结 果 是 一 大 堆 的 问题 和 意见 交换 。 我 得 到 了 好 的 反馈 ， 而 他 们 
确信 目 己 有 了 得 力 帮 手 。 

在 我 介绍 了 整个 流程 ， 以 及 我 所 做 的 变化 、 更 新 和 改进 之 后 ， 所 
有 对 测试 价值 的 怀疑 通 第 束 会 烟消云散 了 。 

另外 一 个 现象 可 能 显得 有 点 反常 : 当 我 坦诚 地 指出 某 些 组 件 或 领 
域 的 测试 不 应 该 由 我 负责 ， 而 应 该 由 他 们 目 己 负责 的 时 候 ， 开 发 反而 
更 加 看 重 我 的 工作 了 。 很 多 测试 人 员 试 图 避 储 自我 宣传 ， 避 人 免 公 开 讨 
论 他 们 不 会 测试 的 东西 ， 担 心 这 样 做 会 使 人 轻 看 测试 的 价值 。 但 在 我 
的 经 验 里 ， 事 实 却 恰 恰 相 反 ， 开 发 会 因此 而 切 敬 你 。 

HGTS: 谈 一 谈 Google Sites 的 测试 吧 。 你 是 怎么 开始 这 个 项 目的 ? 
产 出 了 哪些 文档 、 是 什么 格式 的 ? 如何 与 开发 沟通 你 的 发 现 和 成 果 ? 

Lindsay: Google Sites 的 测试 曾 是 一 个 巨大 的 挑战 。 因 为 它 的 用 户 
数量 很 大 ， 并 且 来 目 一 个 被 收购 的 公司 ， 所 以 持续 时 间 比 很 多 其 他 项 
目的 时 间 长 得 多 。 

通过 亲自 使 用 Sites 建 立 网 站 、 熟 悉 大 概 功 能 ， 我 加 强 了 对 这 个 产 
品 的 了 解 。 我 还 联系 了 有 经 验 的 用 户 。 例 如 ， 几 个 月 之 前 ,我 的 房管 
协会 将 我 们 的 社区 网 站 搬 到 了 Google Sites 上。 因此 ， 我 找到 几 个 协会 
成 员 ， 咨 询 了 他 们 的 使 用 情况 。 这 个 团队 的 设计 文档 和 规格 文档 的 更 
新 不 是 很 好 。 因 此 ， 我 先 把 产品 分 解 成 了 一 些 可 以 理解 的 小 块 儿 ， 然 
后 再 逐个 编写 模块 和 子 模块 的 文档 。 

Google 与 其 他 公司 的 做 事 方 式 不 同 ，Google Sites 的 代码 结构 与 我 
的 习惯 不 一 怪 ， 这 也 减缓 了 工作 进度 。 男 外 ， 创 业 型 公司 不 怎么 写 测 
试 一 一 单元 的 、 端 到 端的 或 目 动 化 的 。 因 此 ，JotSpot 转 来 鸭 Google 
Sites 项 目 只 能 边 走 边 完 善 ， 有 些 地方 使 用 了 不 同 的 风格 和 方法 。 这 些 
都 是 身 为 测试 人 员 要 学 着 面 对 的 东西 。 

项 目 己 经 存在 很 长 时 间 了 ， 几 年 下 来 不 但 累积 了 很 多 bug， 而 且 
bug 库 难以 理 清 、 结 构 不 好 ， 并 且 没 有 详细 的 子 模块 来 文 持 问 题 分 类 。 


我 们 花 了 很 长 时 间 才 将 bug 按 照 模块 结构 整理 完毕 。 

我 建立 了 一 个 网 站 (当然 是 使 用 Google Sites) 用 于 集中 Site 测 试 的 
所 有 文档 : 用 户 故事 、 测 试 环境 信息 、 测 试 团 队 信 息 、 各 条 发 布线 的 
测试 等 。 我 用 电子 表格 ONE ANSE) 按照 测试 优先 级 列 出 了 所 有 模 
块 和 子 模块 ， 管 理 各 个 发 布 的 测试 。 

所 有 这 些 大 修整 结束 之 后 ， 我 给 开发 团队 做 了 一 次 报告 ， 介 绍 了 
完整 的 测试 流程 。 这 对 于 开发 团队 理解 测试 的 范围 和 挑战 起 了 很 大 的 
作用 。 在 此 之 后 ， 我 确实 感到 上 自己 的 努力 受到 了 更 高 的 赞赏 。 

HGTS: 你 能 讲 一 个 特别 的 bug 及 其 发 现 过 程 吗 ? 

Lindsay: 对 我 而 言 ， 对 日 期 字段 的 应 用 进行 的 “日 期 ?测试 一 直 很 
意思 。 我 喜欢 测试 未 来 的 日 期 和 很 久 以 前 的 日 期 通常 总 会 发 现 一 
6 很 奇怪 的 错误 行为 ， 甚 至 是 一 些 很 有 趣 的 计算 错误 。 有 一 个 查找 bug 
是 这 样 ， 当 在 生日 字段 填写 一 个 未 来 的 日 期 时 ， 年 龄 计算 就 会 出 现 混 
乱 。 我 觉得 查找 bug 真 的 很 有 趣 ! 

HGTS: BEFA E CAIRAM? 

Lindsay: 遗漏 到 客户 的 pug 是 一 项 重要 指标 ， 我 希望 这 个 数字 接近 
0。 另 外 ， 我 还 认真 关注 所 负责 项 目的 声誉 。 如 果 项 目 以 bug 或 糟糕 的 
UI 闻 和 名， 如 在 用 户 论坛 里 (要 密切 关注 用 户 论 坛 ) ， 这 是 项 目 有 待 改 
进 、 影 响 也 有 待 提 高 的 信号 。 一 个 项 目 还 会 困扰 于 bug 债 务 ， 即 一 直 没 
有 被 修复 的 陈旧 bug。 因 此 ， 我 还 会 用 仍 在 影响 用 户 的 陈旧 bug 的 数量 
来 衡量 我 的 作用 。 我 努力 向 上 反馈 这 些 问 题 ， 并 用 bug 寿 命 等 事实 来 说 
服 开发 提高 优先 级 。 

HGTS: 你 如 何 判 断 测试 可 以 结束 了 ? 

Lindsay: 不 太 好 说 。 在 测试 一 个 新 的 发 布 时 ， 这 通常 由 发 布 日 期 
决定 ， 而 不 是 根据 我 的 判断 。 此 外 ， 由 于 新 的 浏览 器 版 本 和 访问 Web 应 
用 的 新 设备 的 出 现 ， 即 使 是 一 个 开发 已 经 不 太 活跃 的 web 应 用 也 需要 进 
行 测试 。 我 认为 测试 的 退出 标准 应 该 是 : 你 有 足够 的 信心 ， 剩 下 的 bug 
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都 属于 那些 使 用 率 较 低 、 出 问题 之 后 对 用 户 影 响 也 较 低 的 模块 〈 或 功 
能 特性 、 浏 览 器 、 设 备 等 ) 。 这 就 是 为 什么 要 按照 一 定 的 优先 级 处 理 
应 用 的 各 种 功能 和 环境 文 持 。 

HGTS: 如 何 推动 bug 得 到 修复 ? 

Lindsay: 推动 bug 得 到 解决 是 TE 的 一 件 重要 工作 。 我 必须 不 断 地 
跟 新 特性 开发 抢 时 间 ， 要 求 开发 人 员 去 修复 bug。 用 户 反 馈 是 一 种 很 有 
力 的 论据 。 一 个 bug 带 来 的 用 户 抱 钨 越 多 ， 我 或 越 能 证 明 修 复 问 题 而 
韭 开 发 新 特性 的 时 间 不 会 日 费 。 在 Google， 像 Sites 这 样 的 企业 产品 有 
专门 的 客户 服务 代表 ， 我 会 与 这 些 团 队 保持 密切 联系 ， 时 刻 天 注 来 目 
客户 的 频 发 性 的 问题 。 

HGTS: 如 果 神 能 满足 你 一 个 愿望 ， 帮 你 解决 工作 中 的 一 个 问题 ， 
那 会 是 什么 呢 ? 

Lindsay: 哇 ,，“ 一 个 ”(one aspect) 可 以 是 “全 部 ” (everything) 
HS? 好 吧 ， 如 果 可 以 的 话 ， 我 希望 是 基本 的 、 框 架 性 的 测试 用 例 ， 或 
者 用 户 场景 无 需 编 写 、 自 动 到 位 。CRUD 操 作 (译注 : create ^ read ` 
update ^ delete) 适用 于 所 有 对 象 ， 因 此 没有 必要 每 个 特性 都 去 详细 描 
述 。 通 过 使 用 抽象 程度 高 的 用 户 故 事 来 代替 预定 义 的 测试 用 例 模型 ， 
可 以 有 效 的 避免 此 类 麻烦 ， 但 我 仍然 希望 这 个 问题 完全 消失 。 

HGTS: 你 的 工作 如 何 有 影响 一 个 产品 的 发 布 决定 呢 ? 

Lindsay: 我 会 从 对 用 户 产生 的 影响 的 角度 来 说 明 为 什么 一 个 功能 
不 能 上 线 或 整个 发 布 都 不 能 上 线 。 值 得 感谢 的 是 ， 我 的 团队 通 名 会 后 
意 。 除 非 存在 严重 的 问题 ， 我 不 会 阻挡 一 个 发 布 。 重 要 的 是 ， 要 维护 
团队 的 这 份 信任 一 一 如 果 我 强烈 感到 发 布 时 机 未 到 ， 那 么 这 可 能 也 是 
他 们 希望 的 。 

HGTS: 关于 TE 这 个 角色 ， 你 最 喜欢 的 和 最 不 喜欢 的 是 哪 一 点 ? 

Lindsay: 我 真 的 喜欢 这 种 技能 市 来 的 灵活 性 。 这 个 角色 是 技术 性 
的 ， 但 同时 也 是 面向 用 户 的 。 有 什么 项 目 不 需 要 我 这 样 的 人 呢 ? 我 可 


以 给 这 么 多 不 同类 型 的 项 目 带 来 价值 。 团 队 在 推出 一 个 产品 或 新 功能 
时 难免 感到 提心吊胆 ， 而 我 能 带 给 他 们 镇 定 和 信心 ， 这 使 我 感到 自己 
是 一 种 正面 、 有 益 的 力量 。 

HGTS: Google 和 其 他 公司 的 测试 有 何不 同 ? 

Lindsay: 自主 性 。 在 选择 全 时 工作 的 项 目 和 20% 的 项 目 上 ， 我 有 
很 大 的 自由 度 。20% 的 时 间 是 Google 的 一 种 制度 ， 我 们 可 以 每 周 拿 出 一 
天 时 间 ， 或 者 说 一 周 工作 时 间 的 20% 来 做 自己 选择 的 项 目 。 这 使 我 得 以 
参加 了 各 种 不 同 的 项 目 ， 提 升 了 技能 ， 同 时 激发 和 保持 了 我 的 工作 热 
情 。 否 则 ， 我 可 能 会 经 党 感到 又 是 一 个 土 拨 鼠 日 “译注 : 典故 来 自 偷 
天 情缘 Groundhog Day 这 部 电影 。 在 传统 的 土 拨 鼠 日 这 一 天 ， 主 人 公 陷 
入 了 一 个 偷 天 陷阱 ， 每 当 他 第 二 天 醒 来 ， 都 是 相同 的 一 天 。 这 里 形容 
训 无 新 意 、 重 复 性 劳动 造成 的 日 复 一 日 、 时 间 停 止 的 感觉 ) o 

HGTS: SET 怎么 看 待 你 的 工作 ? 

Lindsay: SET 可 能 会 忽视 人 工 跟踪 bug 库 和 每 个 发 布 的 测试 的 重要 
性 ， 直 到 他 们 受益 并 注意 到 产品 由 此 产生 的 变化 。 即 使 他 们 认为 自动 
化 覆盖 了 所 有 的 测试 场景 《的确 如 此 ) ， 如 果 没 有 人 做 探索 式 测 试 ， 
瓯 没 人 去 设计 开发 新 的 、 发 现 更 多 问题 的 测试 用 例 。 此 外 ， 没 有 人 跟 
进 自动 化 发 现 的 所 有 bug， 融 没有 人 把 这 些 bug 与 其 他 bug 和 用 户 反馈 
联 起 来 ， 或 者 提升 其 重要 性 ， 和 督促 问题 得 到 及 时 解决 。 我 会 把 这 些 事 
情 都 讲 清楚 ， 所 以 同 我 合作 过 的 SET 通常 会 真心 实意 地 肯定 我 带 给 项 目 
的 变化 。 当 然 ， 还 是 有 一 些 不 那么 尊敬 我 的 工作 的 SET， 但 他 们 就 像 
有 类 似 想法 的 开发 人 员 一 样 ， 不 曾 与 我 或 其 他 TE 一 起 工作 过 。 一 旦 发 
生 了 合作 ， 他 们 的 态度 通常 会 迅速 的 转变 。 

HGTS: 你 是 怎样 与 SET 互 动 的 呢 ? 

Lindsay: 我 负责 组 织 包 括 SET 在 内 的 整个 团队 的 测试 战略 。 当 SET 
不 清楚 从 何 处 开始 实现 测试 或 者 工具 时 ， 我 会 展示 最 需要 测试 的 地 方 


并 以 pug 数 据 做 文 持 。 我 还 能 用 真实 数据 说 明 他 们 的 方案 在 预防 bug 方 
面 的 有 效 性 如 何 。 因 此 ， 我 们 的 互动 主要 是 围绕 组 织 和 反馈 进行 的 。 


Apple Chow 是 Google Offers 的 TE。 在 此 之 前 ， 他 是 Google 旧 金山 
分 部 YouTube 的 测试 主管 。Apple 喜 欢 新 挑战 ， 不 断 寻 找 可 供 利 用 的 最 
新 的 测试 工具 和 技术 。 

最 近 ， 作 考 与 Apple 就 YouTube 测 试 进行 了 交流 。 

HGTS: Apple， 有 是 什么 吸引 你 加 入 Google 的 ? 有 一 个 这 样 的 名 
字 ， 你 肯定 考虑 过 其 他 公司 的 职位 吧 ? 

Apple: 呵呵 ，apple@apple.com 的 确 很 诱 人 ! 我 加 入 Google 的 原因 
是 其 产品 的 广度 和 能 与 绝顶 聪明 、 知 识 渊博 的 人 合作 的 机 会 。 我 喜欢 
变换 项 目 ， 热 爱 各 种 挑战 ，Google 是 一 个 适合 我 的 地 方 。 在 这 里 ， 我 
有 机 会 参与 能 对 成 百 上 千 万 的 用 户 产 生 影响 的 众多 产品 。 每 天 都 是 一 
个 新 的 挑战 ， 我 从 未 感到 厌倦 。 当 然 ， 免 费 的 按摩 绝对 是 一 个 加 分 
项 。 

HGTS: 你 觉得 TE 和 SET 的 面试 流程 怎么 样 ? 

Apple: Google 的 目标 是 发 现 有 能 力学 习 、 成 长 、 解 决 各 种 不 同 问 
题 的 多 面 手 。 我 认为 这 适用 于 TE、SET 和 SWE。 在 很 多 其 他 公司 ， 针 
对 不 同 的 角色 有 指定 的 面试 团队 ， 面 试 你 的 人 是 你 将 要 一 起 工作 的 
人 人。 但 在 Google， 面 试 却 不 是 这 样 的 。 面 试 官 来 目 不 同 的 团队 ， 这 样 
候选 人 可 以 得 到 多 个 角度 的 不 同 评价 。 总 而 言 之 ， 我 觉得 这 种 流程 的 
设计 是 为 了 招聘 到 几乎 能 在 Google 的 所 有 团队 工作 的 人 。 这 一 点 也 很 


重要 ， 因 为 它 方 便 了 Google 的 内 部 转岗 ， 你 总 可 以 选择 新 产品 领域 和 
新 团队 。 在 这 种 结构 下 ， 成 为 多 面 手 非 常 重 要 。 

HGTS: 你 有 多 家 技术 公司 的 工作 经 历 。 来 到 Google 之 后 ， 这 里 的 
软件 测试 最 令 你 惊讶 的 是 哪 一 点 ? 

Apple: AAAS » BATIRE Google 而 使 我 的 观点 有 和 失 偏 
Bi, (AS X ANTE 和 SET 比 其 他 绝 大 多 数 的 公司 都 更 加 技术 化 。 
我 经 历 的 其 他 公司 有 专门 的 目 动 化 团队 和 手工 测试 团队 ， 而 Google 的 
SET 必须 写 代 码 ， 这 是 他 们 的 工作 。 这 里 也 很 难 找 到 不 会 写 代码 的 
TE。 具 备 编程 能 力 有 助 于 我 们 在 项 目 早 期 束 发 挥 影响 力 ， 因 为 在 项 目 
初期 主流 测试 技术 通常 都 是 单元 测试 方面 的 ， 这 个 时 候 真 正 的 端 到 端 
测试 还 都 无 法 运行 。 在 Google， 我 认为 技术 能 力 是 测试 人 员 得 以 发 挥 
影响 力 的 天 键 因素 。 

Google 测 试 的 另外 一 个 独特 之 处 是 大 量 的 目 动 化 。 绝 大 多 数 的 目 
动 化 测试 在 手工 测试 人 员 拿 到 产品 之 前 就 已 经 执行 了 。 这 样 ， 到 人 工 
测试 开始 的 时 候 ， 代 码 质量 已 经 相当 高 了 。 

与 其 他 公司 相 比 ， 工 具 也 是 另外 一 个 不 同 之 处 。 通 常 ，Google 不 
使 用 商业 性 工具 。Google 有 着 高 度 重 视 工具 的 文化 ，20% 时 间 保 证 每 一 
个 人 都 能 抽空 为 Google 的 内 部 工具 做 出 贡献 。 工 具 帮 助 我 们 越过 困难 
的 、 重 复 性 的 测试 ， 将 宝贵 的 人 力 劳 动 集中 在 真正 需要 人 的 地 方 。 

接 下 来 ， 当 然 要 说 一 下 开发 负责 质量 (developer-owns-quality) 和 
以 测试 为 中 心 的 SWE 文 化 了 。 质 量 是 大 家 的 共同 责任 ， 没 人 置身 事 
外 。 任 何 工程 师 可 以 测试 任何 机 器 上 的 任何 代码 ， 这 残 是 我 们 的 敏捷 
之 道 。 

HGTS: Google 的 测试 与 其 他 公司 的 相同 之 处 呢 ? 

Apple: 在 测试 上 难以 目 动 化 的 软件 ， 很 难 成 为 好 的 软件 。 有 时 为 
了 某 个 功能 的 匆忙 上 线 ， 会 导致 代码 的 测试 不 够 充分 。 哪 里 都 没有 完 
美的 公司 ， 也 没有 完美 的 产品 。 


HGTS: 作为 YouTube 的 TE， 你 负责 哪些 功能 的 测试 ? 

Apple: 我 参与 了 很 多 项 目 ， 帮 助 完 成 了 很 多 产品 功能 的 上 线 。 其 
中 新 Watch 页 面值 得 一 提 ， 它 是 YouTube 视频 页 面 上 一 个 全 新 的 设计 ， 
是 整个 Internet 最 火 的 页 面 之 一 。 另 外 一 个 难 坏 的 项 目 是 与 Vevo 的 合 
作 。Vevo 是 由 Google、 索 尼 音 乐 和 环球 音乐 成 立 的 合资 公司 。 它 使 用 
了 YouTube 的 视频 托管 和 流 引 擎 ， 提 供 优 质 的 普 乐 内 容 。2009 年 12 月 8 
日 发 布 当 天 ， 有 超过 14 000 个 视频 上 线 ， 接 下 来 的 三 个 月 内 ，VEVO 优 
质 视 频 的 访问 量 达 到 了 14 000 000。 我 还 负责 了 YouTube 基于 Flash 的 
AUTE Ca A. ActionScript2 升级 到 ActionScript3 的 重 写 的 测试 工作 ， 以 
及 Channel and Branded Partner 的 新 页 面 的 发 布 。 

HGTS: 那么 ，Google 的 主管 是 什么 样子 的 呢 ? 

Apple: 主管 是 一 种 整个 产品 或 团队 范围 内 、 或 者 跨 多 个 产品 的 协 
调 性 角色 。 例 如 ，Vevo 项 目 中 ， 我 们 得 天 注 YouTube {Htr ` branded 
watch 模块 、 频 道 体 系 、 流 量 分 配 、 摄 取 (ingestion) 、 报 表 等 。 可 以 
确定 的 是 ， 主 管 还 需要 具备 全 局 性 思维 。 

HGTS: 你 是 如 何在 YouTube 中 应 用 探索 式 测 试 思想 的 呢 ? 

Apple: 对 YouTube 这 样 一 个 人 性 化 和 视觉 体验 型 的 产品 而 言 ， 探 
索 式 测试 是 非常 重要 的 。 我 们 尽 可 能 地 多 做 探索 式 测试 。 

HGTS: YouTube 的 测试 人 员 是 怎样 接受 探索 式 测 试 这 一 方法 的 ? 

Apple: 这 是 一 个 巨大 的 精神 鼓舞 ! 测试 人 员 喜 欢 测试 ， 也 喜欢 发 
现 bug。 探 索 式 测试 开阔 了 测试 的 活动 空间 、 增 加 了 测试 的 趣味 性 。 测 
试 人 员 需 要 像 旅行 者 一 样 思考 ， 从 不 同 的 角度 出 发 ， 创 造 出 不 同 的 测 
试 模式 来 破坏 软件 。 这 使 测试 变 得 更 加 有 意思 、 更 加 有 效 ， 因 为 这 种 
方式 的 测试 可 以 暴露 有 趣 的 、 隐 秘 的 、 用 其 他 手段 或 传统 重复 的 过 程 
难以 发 现 的 bug。 

HGTS: 你 提 到 了 旅游 。James 让 你 们 看 他 的 书 了 吗 (译注 : 指 
James A.Whittaker 的 《探索 式 软件 测试 》 一 书 ) ? 


Apple: 当 James 加 入 Google 的 时 候 ， 那 本 书 刚 刚 出 版 ， 他 做 了 几 次 
分 享 ， 跟 我 们 开 过 几 次 会 。 但 是 他 在 西雅图 ， 而 我 们 在 加 利 福 尼 亚 ， 
所 以 并 没有 和 多少 见面 的 机 会 。 我 们 是 从 他 的 书 开 始 学 习 运 用 探索 式 测 
试 的 。 一 些 漫游 方式 起 作用 了 ， 也 有 一 些 并 没有 效果 ， 我 们 很 快 就 搞 
清楚 了 哪些 探索 式 测试 的 模式 适用 于 我 们 的 产品 。 

HGTS: 哪些 模式 有 效果 呢 ? 介意 列举 一 下 吗 ? 

Apple: “money tour”( 侧 重 于 金钱 相关 的 特性 ， 对 YouTube 而 言 是 
与 广告 或 合作 伙伴 相关 的 特性 ) 得 到 很 大 关注 ， 对 于 各 个 发 布 都 很 重 
Zi o “landmark tour" (侧重 于 重要 的 系统 功能 和 特性 ) 和 “bad 
neighborhood tour" (侧重 于 先前 的 重 灾区 和 基于 最 近 出 现 的 bug 确 定 的 
问题 突出 领域 ) 在 发 现 最 严重 的 bug 方面 最 为 有 效 。 观 摩 团 队 其 他 人 
提交 的 bug、 讨 论 发 现 策略 ， 对 每 个 人 来 说 都 是 一 种 极 好 的 学 习 体 验 。 
旅游 的 概念 对 我 们 解释 和 分 享 探索 式 测试 的 策略 非常 有 用 。 我 们 还 饶 
有 兴趣 的 拿 一 些 漫游 模式 开玩笑 ， 例 如 “antisocial tour”( 一 有 机 会 就 输 
入 最 不 可 能 的 输入 ) ` “obsessive compulsive tour”( 重 复 同一 动作 ) 和 
“couch potato tour”( 只 给 最 小 输入 、 接 受 一 切 默 认 值 )。 探 索 式 测试 不 
仅 指 导 了 我 们 的 测试 ， 还 提高 了 团队 的 凝聚 力 。 

HGTS: 我 们 知道 你 正在 YouTube 团 队 推动 Selenium 测 试 。 关 于 使 
用 Selenium 实 现 测 试 目 动 化 ， 你 最 喜欢 的 和 最 不 喜欢 的 分 别 是 什么 ? 

Apple: 最 喜欢 的 是 简单 的 API， 你 可 以 使 用 目 己 喜欢 的 编程 语言 
写 测 试 代码， 如 Python、Java 和 Ruby。 你 可 以 从 应 用 里 直接 调用 
JavaScript 代 码 这 种 了 不 起 的 特性 非常 有 用 。 

最 不 喜欢 的 依旧 是 浏览 器 测试 。 运 行 速度 较 慢 ， 还 需要 API 回 调 ， 
测试 离 被 测 的 对 象 很 远 。 它 有 助 于 通过 自动 化 那些 人 工 验 证 极端 困难 
的 场景 来 保证 产品 质量 ， 如 对 广告 系统 后 端 鸭 调用 。 我 们 有 一 些 测试 
用 于 加 载 不 同 的 视频 ， 然 后 使 用 Banana Proxy 〈 一 个 内 部 开发 的 web 应 
用 安全 审计 工具 ， 可 以 记录 HTTP 请 求 和 应 答 ) 拦截 广告 调用 。 这 样 ， 


浏览 器 请 求 经 过 Banana Proxy (日 志 ) 的 中 转 到 达 Selenium ， 再 到 达 
Web。 由 此 ， 我 们 可 以 检查 向 外 发 送 的 请 求 是 否 包 仿 了 正确 的 URL 参 
数 ， 接 收 到 的 响应 是 否 包 含 了 期 望 的 内 容 。 总 的 来 说 ，UI 测试 的 执行 
比较 慢 ， 非 常 脆弱 ， 维 护 成 本 也 很 高 。 一 个 教训 是 ， 只 保留 少数 几 个 
用 来 验证 端 到 端的 集成 场景 的 高 级 别 冒 烟 测 试 ， 除 此 之 外 尽 可 能 编写 
底层 的 测试 用 例 。 

HGTS: Flash 占 据 了 YouTube 内 容 和 UI 的 一 大 部 分 ， 它 怎样 测试 的 
WE? 你 们 是 否 有 有 某 种 通过 Selenium 测 试 Flash 的 秘籍 ? 

Apple: 不 对 的 是 ， 没 有 。 有 的 只 是 大 量 的 艰 杏 荔 动 。Selenium 在 
某 些 方面 有 帮助 ， 因 为 我 们 的 JavaScript API 是 暴露 的 ， 可 以 利用 
Selenium 来 进行 调用 测试 。 我 们 使 用 了 一 个 图 像 比 较 工 具 pdiff 来 测试 缩 
略图 、 最 后 一 屏 (end of screen) 的 渲染 。 我 们 还 使 用 了 大 量 的 HTTP 流 
代理 来 监听 流量 ， 这 样 就 可 以 了 解 页面 变 化 的 更 多 信息 。 我 们 使 用 
As3Unit 和 FlexUnit 来 加 载 播 放 器 来 播放 不 同 的 视频 ， 以 及 触发 播放 妖 
事件 。 天 于 验证 ， 我 们 可 以 使 用 这 些 框架 来 验证 软件 的 各 种 状态 、 圭 
成 图 像 对 比 。 我 想 说 这 就 像 变 戏法 一 样 ， 但 实际 上 是 大 量 代 码 铺 整 
Hy ° 

HGTS: 你 或 团队 曾经 发 现 过 的 、 避 免 用 户 遇 到 的 最 大 的 bug 是 什 
A? 

Apple: ax XHJbugiBi i 4I ZA EGER 9 Am, Fide BAA TS 
PUEN bt as AB YRAICSS Algal o xtd 128—008 WCSSTSES DU bt as TS 
形 。 

一 个 难忘 、 微 妙 的 bug 发 生 在 2010 年 新 Watch 页 面 上 线 期 间 。 我 们 
发 现 ， 在 下 7 中 ， 当 用 户 将 鼠标 指针 移动 到 播放 融 区 域 之 外 时 ， 播 放 器 
会 在 一 段 时 间 后 失去 啊 应 。 这 个 问题 值得 关注 ， 因 为 当 用 户 在 长 时 间 
的 观看 一 个 视频 并 四 处 移动 鼠标 时 就 会 中 招 。 一 切 操作 都 会 慢 下 来 ， 
直到 浏览 器 彻底 失去 响应 。 最 后 发 现 原因 是 未 释放 的 事件 指针 和 资源 


一 直 在 反复 执行 同样 的 计算 。 如 果 你 正在 看 短片 或 不 移动 鼠标 ， 束 不 
会 发 生 这 个 问题 。 

HGTS: 你 认为 YouTube 测 试 最 成 功 的 一 点 是 什么 ， 最 不 成 功 的 是 
TFA? 

Apple: 最 成 功 的 是 一 个 获取 并 检查 问题 URL 的 工具 。 尽 管 这 个 
测试 很 滑 单 ， 但 对 快速 捕捉 到 关键 的 bug 真 的 很 有 效 。 我 们 增加 了 一 个 
功能 ， 它 提供 的 堆栈 跟踪 (stack traces) 可 供 工 程 师 用 来 跟踪 和 修复 问 
题 ， 这 使 问题 更 容易 得 到 调试 和 解决 。 这 个 工具 很 快 就 成 为 部 署 期 间 
测试 的 第 一 道 防线 ， 市 省 了 大 量 的 测 斌 时间。 我 们 还 花 少许 精力 进行 
了 扩展 ， 使 之 可 以 覆盖 到 通过 日 志 确 定 的 最 流行 的 URL 以 及 一 个 人 工 
挑选 出 来 的 列表 。 这 件 事 非常 成 功 。 

最 不 成 功 的 大 概要 算 每 周 上 线 过 程 对 人 工 测试 的 持久 的 依赖 了 。 
我 们 只 有 非常 小 的 时 间 窗 口 用 于 测试 (冻结 代码 的 当天 就 要 上 线 ) ， 
但 是 却 有 大 量 的 非常 难以 目 动 化 的 UI 变动 ， 这 束 导 人 致 手工 测试 在 每 周 
的 发 布 流程 中 变 得 非常 关键 。 这 个 问题 很 困扰 ， 我 希望 能 有 更 好 的 答 
案 o 

HGTS: YouTube 是 一 个 由 数据 驱动 的 网 站 ， 因 为 很 多 内 容 都 是 由 
算法 来 决定 的 。 你 们 如 何 验 证 正确 的 视频 在 正确 的 时 间 和 位 置 被 显示 
Jf WE? 你 的 团队 验证 视频 的 质量 吗 ? 如 有 果 验 证 的 话 该 怎么 做 呢 ? 

Apple: 我 们 度量 视频 被 观看 的 频率 、 它 们 之 间 的 相互 关系 ， 以 及 
一 大 堆 的 其 他 参数 变量 。 我 们 分 析 缓 冲 区 内 容 滞 后 (buffer under- 
runs) 和 高 速 缓 存 示 命中 (cache misses) 的 数量 ， 并 基于 这 些 数据 优 
化 全 球 的 服务 架构 。 

我 们 有 视频 质量 级 别 的 单元 测试 ， 以 确 你 达到 适当 的 质量 。 有 一 
个 团队 实现 了 一 个 对 此 进行 更 为 深入 测试 的 工具 ， 且 已 经 开源 (AS3 
播放 器 助手 的 源 代 码 见 http://code.google.com/p/youtube-as3-player- 
helper/source/checkout) 。 它 的 原理 是 使 用 FlexUnit 测 试用 例 (基于 内 置 


的 YouTube 播 放 器 ) 播放 各 种 测试 视频 并 检查 播放 器 状态 和 属性 。 这 些 
测试 视频 具有 大 型 的 条 码 来 标记 帧 和 时 间 轴 ， 使 之 在 压缩 失真 和 质量 
损失 的 情况 下 仍 可 以 很 容易 识别 。 度 量 状 态 还 包括 抓 取 和 分 析 视 频 帧 
的 快照 。 我 们 会 检查 正确 的 长 宽 比 或 裁 航 、 变 形 、 色 侦 、 空 帧 、 日 
屏 、 同 步 等 ， 还 加 入 了 对 bug 报 告发 现 的 问题 的 检查 。 

HGTS: 天 于 web、Flash 以 及 数据 驱动 的 web 服 务 ， 你 对 其 他 测试 
人 员 有 哪些 建议 ? 

Apple: 不 管 是 测试 框架 还 是 测试 用 例 都 以 简单 为 要 ， 随 着 项 目的 
开展 再 欠 代 的 设计 。 不 要 试图 事先 解决 所 有 问题 。 要 敢于 扔 挤 过 时 的 
东西 。 如 果 测 试 或 者 自动 化 过 于 难以 维护 ， 不 如 放弃 它 并 试 着 去 实现 
更 有 和 韧性、 更 好 的 东西 。 密 切 天 注 一 段 时 间 维 护 和 排 错 的 成 本 。 遵 守 
70-20-10 法 则 : 小 型 的 用 来 验证 单个 类 或 功能 的 单元 测试 占 70%， 中 型 
的 用 来 验证 一 个 或 多 个 应 用 模块 之 间 集 成 的 测试 占 20%， 大 型 的 高 级 别 
的 用 来 验证 完整 应 用 的 测试 〈 一 般 称 为 系统 测试 和 端 到 端 测试 ) 占 
10% ° 

除 此 之 外 ， 安 排 好 优先 级 ， 寻 找 小 成 本 大 回报 的 自动 化 项 目 。 一 
定 要 记 住 目 动 化 并 不 能 解决 所 有 问题 ， 尤 其 是 前 端 项 目 和 设备 测试 。 
你 总 会 需要 聪明 的 、 探 索 式 的 测试 并 跟踪 测试 数据 。 

HGTS: 那么 告诉 我 们 真相 吧 。YouTube 测试 一 定 很 热闹 吧 ? 比如 
看 一 整 天 搞笑 的 猫咪 视频 。 

Apple: 好 吧 ， 有 一 个 轧 人 市 我 们 三 倒 了 所 有 视频 的 标题 。 我 不 说 
诉 ， 是 的 ， 测 试 YouTube 很 好 玩 。 我 发 现 了 很 多 有 趣 的 内 容 ， 这 不 正 是 
我 的 工作 嘛 ! 即使 这 样 ， 我 还 是 会 在 看 猫咪 视频 时 大 突 不 止 。 


第 4 章 测试 工程 经 理 


测试 工程 师 (TE) 和 测试 开发 工程 师 (SET) 分 别致 力 于 支持 用 
户 和 开发 工程 师 。 男 外 还 有 一 个 角 可 以 把 这 两 者 联系 起 来 ， 那 惑 是 测 
试 工程 经 理 (Test Engineering Manager TEM) 。 测 试 工程 经 理 是 作为 
独立 贡献 者 的 一 个 技术 网 位， 负责 所 有 的 支持 团队 (开发 、 产 品 管 
理 、 产 品 发 布 、 文 档 等 ) 之 间 的 联络 。 这 可 能 是 在 Google 最 具 挑 战 性 
的 一 个 职位 ， 不 仅 需 要 同时 具备 TE 和 SET 的 技能 ， 还 需要 拥有 足够 的 
管理 技能 来 负责 直接 下 属 的 职业 发 展 。 


4.1 测试 工程 经 理 的 工作 


Google 的 测试 项 目 不 仅 仅 依赖 于 本 书 前面 已 经 提 到 过 的 测试 工程 
师 TE 和 测试 开发 工程 师 SET 完 成 他 们 的 工作 ， 还 依赖 于 测试 工程 经 理 
TEM 这 个 角色 的 领导 力 和 协调 能 力 。 测 试 工程 师 和 测试 开发 工程 师 都 
汇报 给 测试 工程 经 理 。 测 试 工程 经 理 通 常 直接 汇报 给 测试 总 监 〈 译 
È: 写作 本 书 时 ，Google 拥 有 六 位 测试 总 监 。 同 每 位 总 监 直 接 汇报 的 
测试 工程 经 理 用 一 只 手 束 能 数 过 来 。 独 立 页 献 者 一 般 疝 测试 工程 经 理 
汇报 ， 而 资深 工程 师 和 技术 负责 人 一 般 直 接 汇 报 给 他 们 的 总 监 。 这 种 
局 平 的 结构 是 为 了 能 更 好 地 协同 工作 ， 并 降低 沉重 的 管理 负担 。 绝 大 


多 数 总 监 也 都 会 分 出 一 部 分 时 间 ， 让 自己 作为 独立 贡献 者 工 作 ) 。 所 
有 的 测试 总 监 都 汇报 给 Patrick Copeland ° 

测试 工程 经 理 需 要 拥有 技术 能 力 、 领 导 能 力 和 协调 能 力 。 他 们 通 
常 都 是 成 长 于 Google 的 内 部 团队 ， 而 不 是 从 外 部 空降 的 。 空 降 的 员工 
通常 (但 不 是 全 部 ) 都 作为 独立 贡献 者 。 即 便 是 James Whittaker 受 聘 
为 测试 总 监 ， 也 有 将 近 三 个 月 的 时 间 完 全 没有 任何 员工 直接 向 他 汇 
报 。 

目前 的 测试 工程 经 理 中 ， 有 超过 半数 之 前 都 曾 做 过 TE 的 角色 。 这 
并 不 奇怪 ， 因 为 TE 本 来 束 关 注 测试 项 目的 各 个 方面 ， 进 而 管理 整个 项 
目的 人 员 也 只 是 同 前 迈进 了 一 步 。TE 对 于 其 测试 的 应 用 程序 的 功能 特 
性 了 解 得 非常 全 面 ， 而 且 在 项 目 中 与 一 般 的 SET 相 比 会 更 多 地 接触 各 
种 工程 师 。 然 而 ， 成 功 的 TE 或 SET 并 不 一 定 就 是 成 功 的 测试 工程 经 
理 。 在 Google， 成 功 需要 多 方面 的 因素 ， 我 们 努力 选择 合适 的 经 理 人 
选 ， 并 努力 帮助 他 们 成 功 。 

想 成 为 优秀 的 测试 工程 经 理 ， 第 一 条 建议 就 是 去 了 解 你 的 产品 。 
对 于 与 被 测 产 品 相关 的 任何 使 用 问题 ， 测 试 工程 经 理 都 应 该 是 专家 。 
假如 你 是 Chrome 浏 览 絮 的 测试 工程 经 理 ， 你 应 该 知道 如 何 安装 扩展 程 
序 、 更 换 浏 贤 器 的 外 观 、 设 置 同步 关系、 更 改 代理 服务 器 设置 、 查 看 
DOM ^ £X cookie 的 存放 位 置 、 如 何以 及 何 时 进行 版 本 更 新 等 。 这 些 
问题 的 答案 ， 测 试 工 程 经 理 都 应 该 能 脱口 而 出 。 从 用 户 界 面 到 后 台数 
据 中 心 实现 ， 测 试 工 程 经 理 都 应 该 对 目 己 负责 的 产品 做 到 了 如 指 掌 。 

我 记得 我 曾经 问 Gmail 的 测试 工程 经 理 ， 为 什么 我 的 邮件 的 读 取 速 
度 很 慢 。 他 向 我 解释 了 Gmail 服 务 器 是 如 何 工 作 的 ， 以 及 远程 数据 中 心 
在 那个 周末 发 生 的 一 个 问题 所 带 来 的 后 果 。 我 本 来 没 想 要 了 解 这 么 多 
细节 。 但 是 很 明显 那 家 伙 知 道 Gmail 是 如 何 工作 的 ， 而 且 了 解 影响 其 性 
能 的 最 新 信息 。 在 Google， 这 吏 是 我 们 对 测试 工程 经 理 的 期 望 : 相关 
项 目 中 最 强 的 产品 专家 。 


与 之 相关 的 第 二 条 建议 是 知人 善 用 。 在 Google， 测 试 工程 经 理 是 
产品 专家 并 理解 要 有 哪些 工作 需要 完成 ， 不 过 他 作为 经 理 ， 在 实际 完 
成 这 些 工 作 的 过 程 中 仅 起 到 少量 的 作用 。 真 正 完 成 工作 的 人 是 同 他 汇 
报 的 TE 和 SET。 了 解 这 些 人 以 及 他 们 的 能 力 ， 这 对 能 否 快速 高 效 地 完 
成 工作 至 关 重 要 。 

Google 的 工程 师 都 很 聪明 ， 但 是 数量 上 并 不 充裕 。 我 们 从 Google 
之 外 招来 的 测试 工程 经 理 都 反映 他 们 项 目 缺少 人 手 。 我 们 的 回应 只 坪 
报 以 微笑 。 我 们 知道 这 不 是 问题 。 如 采 能 够 知人 状 用 ， 经 理 可 以 让 一 
个 小 团队 发 挥 出 像 大 团队 一 样 的 作用 。 

资源 紧缺 能 够 促使 项 目的 参与 者 职 贡 明确 。 想 象 一 下 一 大 群 人 市 
小 孩 的 情形 : 一 个 人 喂奶 ， 一 个 人 换 奈 布 ， 一 个 人 喜 孩 子 乐 ， 等 等 。 
这 些 人 中 没有 一 个 能 和 操劳 的 单亲 家 长 相 比 更 投入 地 照顾 孩子 。 正 古 
由 于 孩子 的 养育 资源 的 不 足 ， 这 才 使 得 照看 孩子 的 过 程 更 明确 有 效 。 
资源 不 足 的 时 候 ， 你 只 能 被 迫 做 得 更 好 。 你 能 更 快 地 发 现 流程 中 的 缺 
陷 从 而 避免 重复 犯错 。 你 会 制定 一 个 喂奶 时 间 表 并 按时 执行 ， 你 会 把 
纸尿裤 放 在 各 种 随手 可 得 的 地 方 。 

这 种 方式 也 会 用 在 Google 的 软件 测试 项 目 中 。 问 题 不 能 简单 地 通 
过 增加 和 人手 来 解决 ， 台 需要 使 用 工具 并 使 其 流水 线 化 。 没 用 的 目 动 化 
测试 会 被 弃 用 。 不 能 发 现 回归 问题 的 测试 根本 不 会 被 编写 。 如 果 是 开 
发 人 员 要 求 测 试 人 员 做 这 样 的 事 ， 他 们 目 己 也 必须 要 参与 其 中 。 不 允 
许 不 必要 的 工作 存在 ， 也 不 需要 不 产生 价值 的 改进 。 

测试 工程 经 理 有 职 贡 优化 整个 过 程 。 测 试 工程 经 理 如 果 对 产品 有 
深入 的 理解 ， 束 能 清楚 地 找到 最 高 优先 级 的 工作 ， 对 相关 模块 进行 合 
理 的 覆盖 。 测 试 工程 经 理 如 采 对 他 的 团队 成 员 足 够 了 解 ， 束 能 根据 具 
体 的 测试 问题 安排 具有 最 适合 测试 技能 的 员工 。 很 显然 ， 有 些 工作 可 
能 由 于 资源 问题 而 无 法 完成 。 但 是 ， 如 琳 测 试 工程 经 理 处 理 得 当 ， 这 


些 工作 会 是 那 那 些 最 低 优先 级 的 部 分 ， 或 者 可 以 直接 外 包 出 去 或 区 给 
众 包 用 户 和 内 部 试用 用 户 完 成 。 

当然 ， 测 试 工程 经 理 很 可 能 犯错 误 ， 但 是 由 于 他 的 角色 太 重 要 
了 ， 这 些 错误 可 能 代价 很 大 。 好 在 测试 工程 经 理 一 般 都 相互 认识 而 且 
关系 密切 (资源 紧缺 的 男 一 个 好 处 ， 就 是 人 数 少 到 他 们 不 但 能 相互 认 
识 ， 还 可 以 定期 交流 一 下 ) ， 经 常 相互 交流 经 验 共 同 提 高 。 


4.2 获得 项 


Google 的 工程 师 有 一 个 特点 ， 其 所 负责 的 项 目 是 流动 的 。 一 般 来 
说 ，Google 员 工 每 隔 18 个 月 就 可 以 自由 选择 一 个 不 同 的 项 目 。 当 然 ， 
这 不 是 必须 的 。 让 一 位 热爱 移动 操作 系统 的 工程 师 去 做 YouTube 也 是 
不 明知 的。 项 目的 流动 性 ， 给 员工 提供 了 体验 各 种 不 同 项 目的 机 会 。 
很 多 人 选择 多 年 从 事 一 个 项 目 甚至 整个 职业 生涯 都 致力 于 此 ， 但 也 有 
不 少 人 热衷 于 对 Google 做 的 各 种 事情 都 能 有 所 了 解 。 

测试 工程 经 理 可 以 从 这 种 氛围 里 获得 很 多 机 会 ， 如 随时 都 可 以 找 
到 具有 各 种 经 验 的 Google 员 工 。 想 象 一 下 ， 作 为 Google 地 图 的 测试 工 
程 经 理 ， 你 可 以 选择 Chrome 和 Google Docs 的 工程 师资 源 。 你 的 团队 可 
以 随时 补充 大 量具 有 相关 经 验 或 者 全 新 视野 的 工程 师 。 

当然 ， 负 面 因素 是 有 经 验 的 员工 也 可 能 转 到 其 他 团队 。 这 对 测试 
工程 经 理 提 出 的 要 求 是 不 能 过 于 依赖 于 某 些 成 员 。 不 能 仅仅 依赖 于 某 
位 明星 测试 人 员 。 那 些 促成 这 位 测试 人 员 成 为 明星 的 东西 ， 必 须要 沉 
淀 成 可 用 的 工具 ， 或 者 总 结 成 一 套 方法 ， 这 样 可 以 帮助 其 他 人 也 能 
上 这 条 成 为 明星 的 道路 。 


在 Google， 测 试 工程 经 理 管理 着 一 套 称 为 资源 配置 的 流程 。 资 源 
配置 通过 一 个 Web 应 用 支持 ， 测 斌 工程 经 理 可 以 在 上 面 发 布 职 位 空缺 
消息 ， 而 TE 和 SET 可 以 在 上 面 寻找 新 的 工作 机 会 。 工 程 师 只 要 在 当前 
的 项 目 工 作 了 18 个 月 以 上 惑 可 以 自由 离开 ， 而 不 需要 事先 获得 现在 的 
经 理 或 者 未 来 的 经 理 的 许可 。 当 然 ， 这 种 转岗 应 该 保证 产品 发 布 日 期 
或 者 项 目的 重要 里 程 碑 不 受 影响 ， 但 实际 中 我 们 从 未 看 到 有 什么 争议 

GE: 我 们 之 前 解释 过 的 20% 自 由 时 间 在 这 里 也 有 贡献 。 工 程 师 从 项 
目 A 转 岗 到 项 目 B， 他 通常 会 在 开始 的 一 个 季度 里 用 20% 的 时 间 为 新 项 
目 B 工 作 ， 而 在 下 个 季度 时 翻转 这 个 比例 ， 花 80% 的 时 间 在 项 目 B， 
20% 的 时 间 在 原来 的 项 目 A) 。 

Noogler (Google 的 新 员工 ) 也 在 同样 的 Web 应 用 上 被 分 配 。 测 试 
工程 经 理 审阅 新 员工 的 简历 和 面试 得 分 ， 并 在 系统 里 给 一 个 “出 价 ”。 
在 入 职高 峰 期 间 ， 每 个 项 目 都 有 多 名 候选 人 ， 而 每 名 候选 人 也 可 能 被 
提名 到 多 个 项 目 。 竞 争 是 常态 ， 测 试 工 程 经 理 经 常 需 要 在 资源 配置 会 
议 上 ， 针 对 项 目 或 人 员 进 行 和 争辩 ， 最 终 由 测试 总 监 组 成 的 仲裁 委员 会 
和 Patrick Copeland， 或 者 由 他 任命 的 某 人 做 出 最 终 的 决定 。 分 配 一 般 
会 遵照 以 下 优先 级 进行 。 

新 员工 的 技能 与 项 目 所 需 技 能 的 匹配 程度 。 我 们 硕 望 为 员工 创造 
通 同 成 功 的 环境 。 

新 员工 的 个 人 意愿 。 如 果 工 程 师 能 得 到 他 所 期 待 的 工作 ， 他 才 可 
能 更 快乐 地 工作 。 

项 目 需 要 。 战 略 性 的 或 僵 利 性 的 项 目 有 时 候 会 被 优先 考虑 。 

过 往 的 分 配 记 录 。 如 果 一 个 项 目 一 直 没 能 获得 所 需 的 人 手 ， 那 它 
束 会 过 期 。 项 目 分 配 其 实 不 是 一 件 烦 人 的 事情 。 测 试 经 理 如 果菜 一 次 
没 能 获得 所 需 的 新 员工 ， 他 下 一 次 还 有 机 会 。 另 一 方面 ， 新 员工 万 一 
被 分 配 到 不 适合 的 项 目 中 ， 这 也 不 是 什么 大 不 了 的 事 ， 因 为 转岗 也 很 


获取 新 项 目 也 是 测试 工程 经 理 必须 要 做 的 事情 。 随 着 测试 工程 经 
理 的 经 验 和 声望 不 断 提升 ， 他 可 以 管理 更 多 更 大 规模 的 项 目 。 除 了 工 
程 师 以 外 ， 其 他 一 些 资历 尚 浅 的 测试 经 理 也 可 以 直接 癌 他 汇报 。 

这 个 过 程 通常 是 : 开发 团队 组 织 一 个 会 议 邀 请 一 位 可 以 信赖 的 测 
试 工程 经 理 ， 回 他 介绍 目 己 的 项 目 ， 和 希望 他 能 够 为 这 个 项 目 而 组 建 一 
SMAAK 9 49%, Patrick Copland 作为 最 高 的 测试 总 监 ， 可 以 直接 
指派 某 些 极为 重要 的 项 目 。 

这 种 让 测试 工程 经 理 来 选择 项 目的 办 法 ， 主 要 是 为 了 避免 产生 粳 
糕 的 项 目 。 那 些 不 重视 质量 的 团队 ， 只 能 目 己 完成 测试 工作 。 那 些 不 
愿意 编写 小 型 测试 用 例 、 不 进行 恨 好 单元 测试 履 盖 的 团队 将 会 不 被 理 
EX, HEA Ke 
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简单 项 目 ) 都 会 被 测试 经 理 弃 之 不 理 。 无 论 从 Google 的 角度 、 用 户 的 
角度 ， 还 是 测试 经 理 职 业 发 展 的 角度 ， 都 不 值得 为 这 样 的 项 目 安排 人 
力 o 


Google 与 其 他 软件 公司 不 同 的 一 点 束 古 特别 强调 影响 力 。 在 
Google， 你 随时 可 以 听 到 “影响 力 ” 这 个 词 。 工 程 师 需要 在 团队 里 发 挥 
影响 力 ， 他 的 工作 需要 能 够 影响 到 整个 产品 。 测 试 团队 整体 上 也 要 有 
影响 力 。 团 队 的 整体 贡献 应 该 非常 出 众 ， 而 且 整 个 团队 和 产品 都 应 该 
寺 续 不 断 地 提高 。 

每 位 工程 师 的 个 人 目标 都 应 该 是 建立 影响 力 。 测 斌 团队 的 目标 也 
应 该 是 建立 影响 力 。 有 责任 确保 测试 团队 影响 力 的 那个 人 束 是 测试 工 


程 经 理 。 

晋升 取决 于 员工 对 项 目 产生 的 影响 力 。 年 度 评审 时 ， 经 理 需 要 通 
过 员工 对 项 目 产 生 的 总 体 影响 来 朱 述 他 的 贡献。 工程 师 的 级 别 越 高 ， 
对 他 产生 的 影响 力 的 期 望 也 束 越 高 。 测 试 工程 经 理 管 理 团 队 ， 负 责 团 
队 成 员 的 成 长 ， 也 就 是 让 他 们 可 以 衡量 目 己 发 挥 的 影响 力 。 

测试 工程 经 理 需 要 管理 团队 中 测试 工程 师 和 测试 开发 工程 师 所 发 
挥 的 影响 。 

我 们 组 建 测试 团队 的 目的 就 是 让 他 们 发 挥 影响 力 。 我 们 没有 要 求 
测试 工程 经 理 和 他 的 团队 来 保证 产品 的 质量 。 我 们 没有 要 求 他 们 保证 
产品 的 按时 发 布 。 我 们 不 会 由 于 产品 不 成 功 或 用 户 不 喜欢 而 怪 徘 测试 
团队 。 在 Google， 根 本 没有 任何 一 个 团队 会 为 这 些 事情 负责 。 但 是 ， 
每 个 团队 都 有 责任 理解 项 目的 目标 和 计划 ， 并 保证 团队 成 员 各 司 其 职 
来 正面 影响 这 些 事情 。 在 Google， 对 工程 师 最 好 的 误 奖 就 是 称赞 他 的 
影响 力 。 而 对 于 测试 工程 经 理 来 疝 ， 束 是 建立 一 文 有 影响 力 的 团队 。 

年 度 评审 和 晋升 决议 中 ， 影 啊 力 是 一 个 非常 重要 的 因素 。 年 轻 的 
工程 师 需要 完成 他 目 己 的 工作 ， 而 高 级 工程 师 需 要 在 团队 层面 和 产品 
层面 体现 影响 力 ， 到 了 更 高 级 别 以 后 ， 还 需要 在 整个 Google 都 能 发 挥 
影响 力 (这 点 后 面 还 会 讲 到 ) 。 

测试 工程 经 理 要 让 团队 具有 这 样 的 影响 力 ， 并 根据 每 位 工程 师 的 
职位 级 别 和 具备 的 能 力 帮 助 他 们 发 挥 相 应 的 影响 力 。Google 的 经 理 不 
会 对 测试 过 程 的 每 个 细 市 一 一 过 问 。 他 们 不 会 全 程 参 与 项 目 ACC 模 型 
的 制定 。 他 们 不 会 逐 行 审查 测试 架构 代码 。 他 们 会 确保 这 些 测试 模 
型 、 代 码 、 工 具 都 交 由 确实 通晓 这 些 的 工程 师 完 成 ， 并 得 到 正确 地 使 
用 ， 开 发 团队 可 以 理解 它们 的 目的 并 认真 对 竺 其 结果 。 测 试 工程 经 理 
组 建 团 队 ， 并 把 工作 分 配给 他 认为 合适 的 人 ， 然 后 就 退 大 二 线 不 再 干 
扰 工 程 师 完 成 他 们 的 工作 。 测 试 工程 经 理应 该 保证 每 项 工作 都 具有 一 
定 的 影响 力 。 


想象 一 个 测试 团队 中 每 位 工程 师 都 有 能 力 完 成 极 具 影响 力 的 工 
作 ， 测 试 过 程 中 的 每 个 单元 都 有 明确 的 目的 和 明显 的 效果 。 开 发 团队 
非常 理解 测试 工作 并 一 起 参与 ， 直 到 最 终 完成 目标 。 这 就 是 测试 工程 
经 理 要 做 的 事 一 一 把 这 个 设想 变 为 现实 。 

测试 工程 经 理 还 有 一 项 工作 就 是 处 理 跨 团 队 的 沟通 。 优 秀 的 测试 
工程 经 理 ， 特 别 是 那些 经 验 丰 富 的 人 ， 绝 不 会 把 自己 限制 在 上 自己 的 产 
品 范 围 之 内 。Google 有 着 几 十 个 同时 开发 、 测 试 、 使 用 的 产品 。 每 个 
产品 都 有 一 个 或 多 个 测试 工程 经 理 (取决 于 产品 的 大 小 和 复杂 度 ) ， 
每 个 经 理 都 尽力 让 目 己 的 团队 具有 影响 力 。 作 为 目 己 团队 的 代表 ， 测 
斌 工程 经 理 必须 努力 发 现 团队 里 的 好 方法 、 好 工具 ， 并 分 享 给 其 他 团 
队 。 好 的 方法 和 工具 ， 只 有 在 更 多 的 产品 中 成 功 应 用 ， 才 能 体现 出 更 
大 的 影响 力 。 

Google 以 创新 而 闻名 ， 它 的 测试 团队 也 不 例外 。 大 量 在 Google 内 
部 创造 和 使 用 的 测试 工具 和 方法 (其 中 很 多 也 已 经 对 外 发 布 ) 体现 了 
这 种 创 狐 精神 ， 也 支持 了 我 们 的 测试 团队 。Google 并 没有 强迫 测试 工 
程 经 理 在 沟通 方面 做 些 什 么 ， 他 们 的 日 程 表 上 也 没有 每 月 一 次 的 定期 
交流 会 。 他 们 不 断 地 交流 ， 是 因为 不 想 错过 使 用 其 他 团队 那些 了 不 起 
的 创 狐 工具 和 方法 的 机 会 。 谁 不 愿意 用 这 些 具 有 影响 力 的 新 工具 呢 ? 
谁 不 愿意 把 工作 完成 得 更 漂亮 呢 ? 

当然 ， 交 流 对 于 创新 的 输出 同样 有 价值 。 当 你 发 现 某 些 创新 在 你 
的 团队 和 产品 上 效果 很 好 ， 能 让 它们 在 其 他 团队 也 用 起 来 会 感觉 更 
好 ， 尤 其 是 当 越 来 越 多 的 团队 使 用 甚至 成 为 公司 里 测试 的 必 备 要 素 的 
时 候 ， 那 真是 棱 极 了 。 跨 团队 的 交流 必须 建立 在 创新 的 基础 之 上 ， 否 
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4.4 Gmail 测试 工程 经 理 Ankit Mehta 的 访谈 


Ankit Mehta 在 成 为 测试 工程 经 理 之 前 是 一 名 测试 工程 师 (TE) e 
在 最 初 的 几 年 ，Ankit Mehta 一 直 在 和 测试 上 自动 化 代码 打交道 。 他 作为 
技术 经 理 的 第 一 个 大 项 目 正 是 Gmail 。 

Gmail 是 个 巨大 挑战 。 它 非常 上 庞大， 涉及 很 多 快速 发 展 的 部 分 。 
Gmail 整 合 了 很 多 Google 的 产品 ， 如 Buzz、Docs、Calendar 等 。 它 需要 
处 理 那 些 已 经 站 稳 脚 跟 的 竞争 对 手 所 支持 的 邮件 格式 。Gmail 有 非常 
庞大 的 后 台 系 统 。 要 知道 Gmail 是 一 个 云 服 务 ， 用 户 可 以 通过 任意 一 
种 主流 浏 贤 絮 进行 访问 。 有 数 亿 用 户 在 使 用 Gmail， 他 们 希望 打开 浏 
basa Gmail 融 能 工作 ， 这 从 某 种 意义 上 也 增加 了 复 洒 性 。 用 户 需 要 
快速 、 可 靠 、 安 全 的 服务 ， 并 且 还 能 包括 目 动 处 理 垃 圾 邮件 。 增 加 新 
特性 必须 保证 之 前 的 功能 持续 可 用 ， 这 使 得 测试 任务 变 得 非常 复杂 。 
一 旦 Gmail 出 现 问题 ， 全 世界 的 人 残 会 在 第 一 时 间 发 现 。 因 此 ， 测 试 工 
程 经 理 责任 重大 。 

我 们 对 Ankit 进 行 了 采访 ， 了 解 Gmail 是 如 何 测试 的 。 

HGTS: 告诉 我 们 你 是 怎么 接手 一 个 新 测试 项 目的 吧 。 你 首先 会 
做 什么 事 ， 问 哪些 问题 ? 

Ankit: 加 入 一 个 新 项 目的 头 几 个 星期 ， 我 主要 用 来 倾听 而 不 是 发 
表意 见 。 深 入 理解 团队 非常 重要 ， 要 学 习 产 品 的 架构 ， 了 人 解 团 队 的 最 
新 动态 。 我 不 能 接受 一 位 医生 在 观察 我 不 

到 五 分 钟 的 时 间 束 给 我 开具 抗生素 类 的 药品 。 同 样 地 ， 我 也 不 期 
望 一 个 测试 团队 可 以 接受 我 一 开始 就 提出 的 什么 解决 方案 。 在 进行 诊 
断 之 前 你 必须 先 要 学 习 。 

HGTS: 我 们 和 你 一 起 工作 过 ， 你 可 不 是 那 种 安静 的 类 型 啊 。 我 
估计 你 是 不 开口 则 已 ， 一 开口 惑 会 肖 泣 不 绝 ， 如 黄河 泛 渴 般 一 发 而 不 


可 收拾 ! 

Ankit: 噢 ， 是 的 ! 不 过 我 也 不 会 什么 都 说 。 多 年 来 ， 通 过 不 断 地 
聆听 ， 我 发 现 最 有 力 的 问题 就 是 “为 什么 ”。 为 什么 你 会 进行 这 些 测 
试 ? 为 什么 你 会 想到 这 个 用 例 ? 为 什么 你 选择 把 这 个 任务 目 动 化 而 不 
征 那 个 任务 ? 为 什么 我 们 要 投入 做 这 个 工具 ? 

我 感觉 人 们 有 时 候 做 事 只 是 因为 看 到 别人 这 么 做 ,或 者 他 们 测试 
某 个 特性 的 时 候 只 是 做 那些 他 们 知道 怎么 做 的 东西 。 如 有 果 你 不 同 他 们 
为 什么 ， 他 们 目 己 也 不 会 费心 思考 这 事 儿 ， 因 为 他 们 已 经 把 那些 作为 
了 一 种 习惯 。 

HGTS: 那 什 么 样 的 答案 算 好 答案 呢 ? 

Ankit: 第 一 ， 因 为 它 能 够 提高 产品 的 质量 ;第 二 ， 因 为 它 能 提高 
工程 师 开 发 产品 的 效率 。 其 他 答案 都 没 这 些 重 要 。 

HGTS: Gmail 团队 注重 生产 效率 是 出 了 名 的 ， 所 以 我 理解 你 会 这 
么 说 。 不 过 除了 质量 和 效率 之 外 ， 你 对 测试 工程 经 理 还 有 什么 建议 来 
建立 一 个 健康 的 工作 氛围 呢 ? 

Ankit: 团队 的 气氛 非常 重要 。 我 深信 优秀 的 产品 和 优秀 的 测试 团 
队 紧 密 相关 。 你 必须 要 有 拥有 合适 技能 的 人 ， 正 确 的 工作 人 态度， 并 做 
正确 的 事情 。 特 别 是 团队 中 资深 的 人 ， 因 为 团队 的 文化 和 氛围 很 大 程 
度 上 来 源 于 这 些 人 。 拿 Gmail 来 说 ， 我 伦 了 三 到 六 个 月 来 建 并 团队， 让 
团队 具有 凝聚 力 ， 每 个 人 都 能 理解 其 他 人 的 角色 。 当 你 有 了 一 个 好 团 
队 ， 束 不 会 由 于 一 两 个 人 的 不 适应 而 出 现 问 题 。 测 试 团 队 和 开发 团队 
的 关系 也 是 一 种 非常 重要 的 气氛 。 当 我 刚 加 入 的 时 候 ， 这 种 气氛 并 不 
好 。 测 试 团 队 目 顾 目的 工作 ， 而 开发 团队 也 不 认可 测试 团队 ， 这 是非 
常 不 好 的 。 

HGTS: 你 肯定 把 这 个 问题 解决 了 ， 能 具体 谈 谈 你 是 怎么 处 理 的 
13? 


Ankit: 我 刚 加 入 Gmail 的 时 候 ， 测 试 团 队 只 是 专注 于 执行 一 系列 
WebDriver 的 测试 ， 每 个 版 本 执行 一 次 。 每 次 执行 测试 结果 都 会 由 绿 
ED) 变 红 (失败 ) ， 然 后 再 花 大 力气 修复 这 些 测试 ， 让 他 们 能 够 
再 变 绿 。 开 发 团队 没有 过 多 质疑 这 种 做 法 ， 由 于 这 些 测试 通常 还 是 能 
发 现 一 些 重要 问题 的 ， 因 此 这 种 做 法 就 一 直 延 续 下 来 了 。 但 是 曾经 有 
好 几 回 代码 变化 很 大 ， 测 试 代码 根本 来 不 及 修改 。 整 个 过 程 非常 脆 
弱 ， 不 能 适应 Gmail 的 变化 。 这 是 一 种 过 度 投入 ， 因 为 要 让 它 最 终 发 挥 
作用 所 需 的 工作 太 多 了 。 

可 能 是 因为 我 新 加 入 的 这 个 项 目 ， 所 以 能 发 现 一 些 其 他 人 不 能 发 
现 的 事情 。 在 我 看 来 处 理 延 迟 是 Gmail 最 大 的 问题 。 严 格 来 说 ， 从 用 户 
的 角度 来 说 ，Gmail 最 大 的 特性 就 是 它 的 速度 。 我 料想 如 果 我 们 为 开发 
团队 解决 了 这 个 问题 ， 我 们 就 能 谨 得 他 们 的 尊重 并 开始 建立 平等 的 关 
系 。 

这 是 个 难题 。 我 们 必须 测试 Gmail 老 版 本 和 新 版 本 速度 上 的 差异 ， 
当 新 版 本 的 速度 下 降 时 及 时 发 现 。 然 后 我 们 需要 检查 所 有 新 版 本 里 改 
动 的 代码 ， 并 找到 速度 变 慢 的 原因 ， 从 而 修复 这 个 问题 。 这 是 一 个 痛 
苗 的 过 程 ， 非 常 耗 时 ， 并 伴随 大 量 的 尝试 和 失败 。 

我 曾经 和 一 位 测试 开发 工程 师 一 起 想 办 法 ， 想 让 Gmail 的 速度 变 
慢 ， 以 便于 我 们 能 更 好 地 观察 前 端 和 后 台数 据 中 心 的 通讯 ， 从 而 发 现 
造成 性 能 下 降 的 原因 。 我 们 最 后 到 处 找 了 些 旧 机 器 ， 弄 了 一 大 堆 512M 
内 存 、40GB 人 硬盘 和 低速 CPU 的 机 器 。Gmail 在 这 些 机 絮 上 运行 速度 慢 
了 很 多 ， 我 们 可 以 把 所 需 的 信号 分 辨 出 来 ， 然 后 开始 运行 长 时 间 的 压 
力 测 试 。 头 几 个 月 特别 艰苦 ， 我 们 有 几 次 误 报 。 我 们 花费 了 大 量 的 精 
力 搭 建 基础 设施 ， 可 没有 什么 产 出 。 但 是 后 来 ， 回 归 测 试 的 需求 滚滚 
而 来 。 我 们 可 以 测量 到 毫秒 级 的 性 能 损耗 并 把 数据 记录 下 来 。 开 发 工 
程 师 能 在 几 小 时 内 就 发 现 产 生 延 迟 的 问题 ， 而 不 是 以 前 的 几 个 星期 。 
这 样 承 可 以 趁 问题 刚 出 现 的 时 候 就 开始 调试 ， 而 不 像 以 前 得 在 几 个 星 


期 以 后 才能 开始 。 这 件 事 立 即 为 测试 团队 顾 得 了 得 重 ， 以 至 于 在 我 们 
着 手 开 展 接 下 来 的 重要 任务 (修复 端 到 端的 测试 和 搭建 高 效 的 负载 测 
WFE) 时 ， 开 发 工程 师 实 际 上 还 自发 地 帮助 我 们 。 整 个 团队 发 现 了 
高 效 测试 带 来 的 价值 。Gmail 的 发 布 周期 从 每 三 个 月 缩短 到 每 周 ， 再 
到 每 天 都 能 向 我 们 的 部 分 用 户 发 布 新 的 版 本 。 

HGTS: 所 以 经 验 就 是 解决 氨 一 些 难题 来 谨 得 尊重 。 我 喜欢 这 
点 。 不 过 做 完 这 些 之 后 你 还 做 了 什么 ? 

Ankit: 其 实 ， 难 题 永 远 也 解决 不 完 ! PRT, SEAS A 
是 关注 最 重要 的 事 。 我 们 确定 Gmail 最 紧要 的 问题 ， 然 后 一 起 解决 它 
们 。 通 过 团队 配合 ， 你 会 发 现 这 些 问题 并 不 那么 困难 。 当 然 ， 我 还 是 
坚信 只 应 该 关注 最 重要 的 事情 。 每 当 我 发 现 团队 打算 做 太 多 的 东西 的 
时 候 ， 丈 好 像 你 要 同时 做 五 件 事情 ， 但 是 每 件 只 能 完成 80% 的 时 候 ， 
我 束 会 要 求 他 们 退回 来 重新 安排 优先 级 。 把 你 需要 做 的 事情 减少 到 两 
到 三 件 ， 但 都 能 完成 到 100%。 这样 团 队 才 能 获得 真正 的 成 就 感 ， 而 不 
是 好 多 事情 在 他 们 手 里 没有 人 完成。 如 有 果 这 些 工作 最 后 都 能 积极 地 有 影响 
到 产品 质量 ， 那 么 我 也 会 感到 特别 高 兴 。 

HGTS: 大 家 都 知道 Google 的 每 个 经 理 都 有 很 多 直接 下 属 ， 而 且 
经 理 上 自己 还 需要 从 技术 上 有 上 所 贡献 。 你 怎么 平衡 这 些 事 情 ? 能 告诉 我 
们 你 目 己 是 怎么 完成 那些 技术 工作 的 吗 ? 

Ankit: 管理 下 属 和 与 其 他 人 沟通 确实 是 一 种 干扰 。 我 其 实 总 结 了 
两 个 办 法 来 让 目 己 能 保持 技术 敏锐 度 并 像 工程 师 一 样 参 与 其 中 。 

第 一 ， 在 与 开发 工程 师 和 测试 开发 工程 师 团队 沟通 的 过 程 中 ， 有 
好 多 事情 可 以 做 ， 我 可 以 选择 留 下 一 部 分 上 自己 来 完成 。 我 在 设计 阶段 
会 积极 地 参与 ， 持 续 地 跟 进 项 目 并 且 目 己 也 编写 测试 。 

第 二 ， 其 实 这 才 是 关键 的 部 分 。 如 采 你 想 做 一 些 技术 工作 ， 葡 必 
须 尽 量 排除 管理 方面 市 来 的 干扰 。 起 先 ， 我 每 周 都 论 一 两 天 的 时 间 做 
我 目 己 的 工作 。 我 有 一 个 项 目 是 把 Google Feedback 整 合 天 Gmail 里 ， 这 
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或 者 测试 架构 的 某 些 部 分 拖 慢 了 我 的 测试 进度 时 ， 我 就 能 够 理解 那些 
全 职 的 开发 工程 师 怎么 看 待 我 们 的 测试 工作 了 。 尽 管 如 此 ， 只 要 我 在 
Google 总 部 的 办 公 室 ， 人 们 总 能 想 办 法 找到 我 ， 所 以 我 就 跑 到 苏黎世 
Gmail 团队 的 办 公 室 去 。 虽 然 在 那儿 有 九 个 小 时 的 时 差 ， 但 是 环境 就 安 
静 多 了 ， 我 在 那里 也 不 是 谁 的 经 理 。 我 可 以 混 进 一 个 技术 团队 而 不 怎 
么 引 人 注 目 。 我 在 苏黎世 于 了 好 多 活 儿 ! 

HGTS: 你 对 测试 项 目的 人 员 配 备 有 什么 建议 吗 ? 开发 测试 比 是 
多 少 会 比较 好 ? SET 和 TE 的 比例 呢 ? 

Ankit: 人 员 的 问题 其 实 很 简单 ， 那 惑 是 绝 不 妥协 。 选 用 不 合适 的 
人 来 填充 名 额 永远 要 比 等 待 合适 的 人 员 要 糟糕 。 只 选用 最 好 的 人 ,不 
能 动摇 。Google 不 让 公布 人 员 比例 数据 ， 不 过 以 前 我 们 团队 中 测试 人 
员 的 比例 比 正常 水 平 高 很 多 。 目 从 我 们 解决 了 很 多 最 初 的 问题 ， 并 得 
到 开发 工程 师 的 支持 以 后 ， 我 们 的 比例 就 降 到 和 Google 的 标准 水 平 差 
不 多 了 。 从 技能 分 配 的 角度 来 说 ，Gmail 的 经 验 是 用 20% 的 测试 人 员 进 
行 探 索 式 测试 。 任 何 关 注 用 户 体验 的 产品 都 需要 探索 式 测试 。 还 有 
30% 的 测试 工程 师 关 注 于 产品 的 整体 性 测试 ， 他 们 和 测试 开发 工程 师 
一 起 来 保证 测试 的 效果 。 另 外 50% 的 工作 ， 是 测试 开发 工程 师 开 发 相 
天 的 自动 化 测试 和 工具 ， 以 保持 代码 库 的 健壮 和 提高 开发 人 员 的 工作 
效率 。 我 不 敢 说 我 在 下 一 个 项 目 还 会 按照 这 样 的 比例 分 配 ， 但 是 这 个 
比例 对 Gmail 来 说 是 有 效 的 。 

HGTS: 我 知道 你 现在 开始 负责 Google+ 的 测试 了 。 在 新 项 目 中 
你 发 现 哪些 在 Gmail 的 经 验 是 最 有 价值 的 ? 

Ankit: 首先 ， 不 要 把 你 所 有 的 精力 都 放 到 前 端 。Gmail 拥 有 最 庞 
大 的 分 布 式 后 人 台 系 统 ， 那 里 还 有 很 多 的 测试 问题 我 们 尚未 解决 。 除 此 
之 外 ， 还 有 很 多 经 验 教训 值得 吸取 。 

使 用 与 应 用 程序 开发 语言 相同 的 编程 语言 来 编写 测试 。 


让 负责 开发 新 特性 的 人 同时 负责 相应 测试 的 执行 ， 他 需要 对 漏 掉 
的 测试 负责 。 

关注 测试 基础 设施 的 建设 ， 让 测试 的 编写 和 执行 非常 容易 ， 甚 至 
比 忽略 它们 还 要 容易 。 

20% 的 用 例 履 盖 了 809% 的 使 用 场景 〈 可 能 会 有 些 出 入 ) 。 把 这 20% 
自动 化 而 别管 剩 下 的 。 把 那些 测试 通过 手工 完成 。 

这 里 是 Google， 速 度 才 是 王道 。 如 果 用 户 只 在 乎 一 件 事 ， 那 就 是 
速度 。 确 保 我 们 的 产品 足够 快 。 进 行 性 能 分 析 以 便于 可 以 证 明 给 所 有 
人 看 。 

与 开发 团队 的 沟通 至 关 重 要 。 如 果 这 点 做 的 不 好 ， 你 就 会 疫 于 应 
付 ， 那 可 不 是 什么 好 事 。 

Google 的 DNA 里 富 含 着 创新 精神 。 测 试 团队 也 应 该 被 看 做 创新 
者 。 发 现 重 要 的 问题 并 能 创造 性 地 提出 解决 方案 。 

HGTS: 你 有 发 现 技 术 团 队 可 能 遇 到 哪些 陷阱 吗 ? 

Ankit: 有 的 。 假 设 我 们 知道 用 户 的 需求 ， 然 后 进行 了 大 规模 的 改 
动 或 编写 了 大 量 的 代码 提供 新 特性 ， 却 没有 进行 小 规模 的 试验 。 如 果 
用 户 不 喜欢 这 些 改动 ， 麻 烦 就 大 了 ， 而 针对 这 些 特性 构造 的 测试 框架 
再 好 也 是 浪费 。 因 此 ， 要 先 为 少量 用 户 放出 一 个 版 本 ， 获 得 必要 的 反 
馈 ， 然 后 再 为 大 量 的 自动 化 测试 进行 投资 。 

另外 ， 试 图 构造 完美 的 解决 方案 可 能 花费 太 长 的 时 间 ， 到 时 候 市 
场 的 发 展 早 已 超出 你 的 想象 了 。 应 该 快速 迭代 ， 展 现 阶 段 性 成 果 。 

最 后 ， 怠 像 开 车 一 样 ， 你 必须 找到 测试 的 离合 点 。 过 早 编写 测 
试 ， 有 可 能 由 于 架构 的 变化 导致 全 部 工作 作废 。 若 等 待 太 久 ， 则 又 可 
能 错失 测试 良机 而 导致 没有 充分 测试 。 测 斌 驱动 开发 是 不 错 的 方法 。 

HGTS: 对 于 个 人 来 说 有 什么 陷阱 吗 ? 年 轻 的 测试 工程 师 和 测试 
开发 工程 师 在 新 项 目 里 会 犯 哪些 错误 ? 


Ankit: 是 的 。 他 们 可 能 一 上 来 就 开始 干 ， 不 明 所 以 。 他 们 写 了 很 
多 测试 ， 但 筷 记 思考 为 什么 要 写 这 些 测 试 ， 怎 么 让 这 些 测试 为 整体 目 
标 服 务 。 编 写 测试 的 时 候 ， 他 们 往往 没有 意识 到 他 们 还 要 负责 维护 这 
些 测试 。 测 试 开发 工程 师 应 该 牢记 测试 应 该 是 开发 人 员 的 工作 而 他 们 
目 己 应 该 专心 让 测试 成 为 开发 人 员工 作 中 的 一 环 。 我 们 通过 编写 工具 
帮助 开发 人 员 做 到 这 点 ， 而 且 应 该 让 开发 人 员 在 维护 开发 代码 的 同时 
也 负责 维护 测试 代码 。 这 样 一 来 ， 测 试 开发 工程 师 才 能 集中 精力 让 测 
试 执 行 得 更 快 ， 更 容易 分 析 。 

测试 工程 师 有 时候 会 迷失 方 同 ， 做 起 测试 开发 工程 师 的 工作 。 我 
们 希望 测试 工程 师 更 全 局 地 看 待 整 个 系统 ， 全 面 地 掌控 整个 产品 。 他 
们 的 重点 应 该 是 从 最 终 用 户 角 度 考 虑 的 测试 ， 帮 助 测试 开发 工程 师 和 
开发 工程 师 确 保 所 有 的 测试 稳 层 测 试 框架 都 被 正确 有 效 地 使 用 。 测 
试 工 程 师 编 写 的 工具 和 对 问题 的 诊断 应 该 能 够 影响 整个 产品 。 

HGTS: 除了 你 前 面 提 到 的 性 能 方面 的 目 动 化 测试 以 外 ， 还 有 什 
么 测试 方面 的 工作 让 Gmail 获得 了 巨大 的 收益 吗 ? 

Ankit: JavaScript 目 动 化 测试 。 我 们 为 Gmail 本 叶 加 入 了 一 个 用 于 
目 动 化 测试 的 servlet。 通 过 它 ， 开 发 人 员 束 可 以 使 用 与 前 端 开发 一 致 
的 编程 语言 编写 端 到 端的 测试 “译注 : 端 到 端的 测试 是 指 涉及 整个 应 
用 系统 环境 ， 在 现实 世界 使 用 时 的 情形 模拟 的 测试 。) 。 因 为 它 使 用 
很 多 相同 的 函数 和 程序 库 ， 开 发 人 员 对 于 如 何 编写 测试 代码 很 熟悉 ， 
没有 学 习 曲 线 。 他 们 可 以 很 容易 地 写 出 一 些 测试 ， 来 检验 他 们 的 新 代 
码 是 否 影响 了 Gmail 的 正常 功能 ， 也 能 够 更 好 地 保护 他 们 开发 的 特性 不 
被 其 他 开发 人 员 破 坏 。 现 在 ，Gmail 的 每 个 新 特性 都 至 少 会 有 一 个 通 
过 这 个 servlet 编 写 的 测试 。 最 棱 的 是 ， 在 我 现在 人 负责 的 社交 产品 里 面 
我 也 在 用 这 个 方法 。 我 们 已 经 有 了 大 约 两 万 个 自动 化 测试 ! 

还 有 压力 测试 。 在 Google 你 不 做 压力 测试 不 可 能 蒙混 过 天 ， 因 为 
我 们 的 所 有 应 用 都 有 大 量 的 用 户 ， 后 台数 据 中 心 的 负载 会 非常 大 。 我 


们 基本 上 必须 复制 一 份 线 上 环境 并 引入 真实 用 户 流量 。 我 们 花费 了 几 
个 月 的 时 间 分 析 线 上 系统 的 使 用 情况 ， 构 建 了 一 个 代表 用 户 的 使 用 模 
型 。 接 下 来 ， 为 了 数据 更 为 真实 ， 我 们 使 用 和 真实 的 Gmail 数据 中 心 一 
样 的 机 器 来 运行 我 们 的 压力 测试 。 然 后 ， 我 们 观察 测试 环境 和 被 监控 
的 真实 环境 上 的 结果 兰 异 。 我 们 发 现 了 很 多 性 能 退化 的 问题 ， 并 帮助 
开发 人 员 细 化 和 定位 了 这 些 问 题 。 

最 后 ， 我 们 更 专注 于 预防 bug 而 不 是 检测 bug， 这 为 我 们 市 来 了 
巨大 收益 。 我 们 推动 目 动 化 测试 在 代码 提交 之 前 更 早 地 执行 ， 避 免 了 
大 量 质量 不 佳 的 代码 污染 项 目 。 这 让 测试 团队 随时 保持 在 最 前 沿 ， 文 
持 项 目 产 出 高 质量 的 版 本 。 这 也 给 我 们 的 探索 式 测 试 人 员 提 出 了 更 大 
的 挑战 。 

HGTS: 在 选用 人 才 方 面 你 已 经 很 有 经 验 了 。 你 现在 转 到 社交 产 
品 项 目 上 ， 你 的 测试 团队 需要 找 什么 样 的 人 呢 ? 

Ankit: 我 需要 寻找 那些 不 会 沉迷 于 系统 的 复 洒 性 、 表 到 困难 的 问 
题 时 能 够 分 解 为 可 执行 的 步骤 并 能 最 终 解 决 的 人 。 我 需要 有 执行 力 的 
人 ， 他 们 会 被 紧迫 感激 发 而 不 是 吓 跑 。 我 需要 能 够 在 创新 和 质量 中 掌 
握 平 衡 的 人 ， 他 们 不 应 该 只 满足 于 发 现 更 多 的 bug。 但 最 重要 的 是 ， 
我 需要 能 看 到 他 们 的 激情 。 我 需要 那些 真正 想 做 测试 的 人 。 

HGTS: 这 也 是 我 们 最 后 一 个 问题 。 在 测试 领域 什么 东西 会 引发 
你 的 激情 呢 ? 

Ankit: 我 喜欢 由 快速 类 代 和 高 质量 市 来 的 挑战 。 这 两 者 相互 矛盾 
但 又 都 很 重要 。 这 个 经 典 的 矛盾 担 使 我 为 这 两 个 目标 不 断 优化 ， 而 又 

` 会 伤害 我 目 己 或 我 的 团队 。 创 建 一 个 产品 不 难 ， 但 要 快速 创建 一 个 
高 质量 的 产品 会 有 相当 大 的 难度 ， 而 这 正 是 使 我 的 工作 一 一 富 于 挑战 
又 充满 乐趣 。 


4.5 Android 测 试 工程 经 理 Hung Dang 的 访谈 


Hung Dang 是 Google 的 一 位 技术 经 理 ， 专 门 领导 Android 测 试 
队 。 在 加 入 Google 之 前 ， 他 曾 在 Apple 和 Tivo 公 司 做 工程 师 。 

Android 的 战略 重要 性 不 用 多 说 了 。 从 很 多 方面 来 说 ， 它 和 我 们 的 
搜索 和 广告 业务 一 样 巨大 ， 是 Google 的 另 一 项 重要 资产 。 因 此 ， 它 特 
别 受 高 层 的 关注 ， 也 吸引 了 一 大 批 一 流 人 才 。 它 的 代码 库 增 长 非常 
TR, 每 天 的 版 本 里 新 增 数 百 项 改进 是 很 正常 的 事 。Android 是 一 个 操作 
系统 ， 一 个 平台 ， 有 数 百 万 的 应 用 运行 其 上 ， 拥 有 一 个 莲 懿 发 展 的 开 
发 者 生态 环境 。 运 行 Android 系 统 的 设备 增长 迅速 ， 洱 盖 了 众多 厂商 的 
手机 和 平板 电脑 。 设 备 兼 容 性 测试 、 电 源 管理 测试 、 应 用 程序 测试 等 
的 方方面面 都 由 Hung 和 他 的 团队 承担 。 

本 书 作者 Hung 坐 在 一 起 探讨 Android 到 底 是 如 何 测试 的 。 

HGTS: 告诉 我 们 一 些 Android 测试 最 初 的 故事 吧 。 那 时 候 还 没 
有 那么 多 设备 运行 Android 系 统 ， 它 的 测试 应 该 比 现在 要 容易 很 多 吧 ! 

Hung: 很 不 地， 事情 真 不 是 那样 。 当 我 开始 领导 Android 的 时 
修 ， 这 个 团队 很 新 ， 而 且 很 多 成 员 没 有 测试 过 移动 设备 上 的 操作 系 
统 。 我 的 第 一 件 任务 束 是 建设 我 们 的 团队 和 建立 测试 的 基础 框架 。 测 
试 项 目 最 初 的 一 段 时 间 是 最 困难 的 。 而 当 你 建立 好 了 合适 的 团队 ， 建 
设 好 正确 的 基础 框架 和 测试 流程 ， 无 论 产 品 最 终 变 得 多 么 复杂 和 多 样 
化 ， 测 试 起 来 对 你 来 说 也 不 是 什么 难事 。 一 切 都 没 发 生 的 时 候 才 真正 
是 最 困难 的 阶段 。 

HGTS: 那 我 们 好 好 聊 聊 这 件 事 吧 ， 因 为 好 多 测试 经 理 也 正在 与 
项 目 初 始 阶 段 的 困难 斗争 。 你 能 讲 讲 你 在 Android 初 期 的 经 历 吗 ? 

Hung: 那些 日 子 是 巨大 的 挑战 。 我 们 做 的 第 一 件 事 就 是 让 大 家 熟 
悉 产 品 。 我 要 求 我 的 所 有 测试 人 员 都 成 为 产品 专家 。 团 队 里 的 每 个 人 


都 必须 了 解 产品 系列 的 每 个 方面 ， 没 有 商量 的 余地 。 当 你 了 解 到 了 那 
种 程度 ， 你 就 能 了 解 测试 中 的 困难 是 什么 ， 然 后 你 束 可 以 根据 这 些 需 
求 来 建设 你 的 团队 了 。 聘 请 那些 能 够 理解 这 些 测试 难题 的 人 (在 
Google 这 也 包括 从 其 他 团队 拉 人 ) 。Android 的 产品 系列 涉及 很 多 层 
面 ， 从 硬件 到 操作 系统 ， 再 到 框架 ， 再 到 应 用 模型 ， 再 到 市 场 推广 。 
很 多 部 分 需要 专业 的 测试 技能 。 我 首先 做 的 事情 就 是 分 析 清 楚 ， 然 后 
建设 团队 处 理 这 些 问 题 。 

团队 建立 好 以 后 ， 我 给 他 们 定 下 了 基调 : 创造 价值 ! 最 好 还 能 找 
到 可 复制 的 创造 价值 的 方法 。 从 开发 到 产品 管理 ， 测 试 都 应 该 是 一 股 
推动 的 力量 ， 否 则 你 惑 是 在 阻碍 发 展 。 早 期 的 日 了 里， 创造 价值 就 是 
帮助 产品 成 功 发布 。 那 时 候 我 们 做 的 事情 已 经 超出 了 测试 的 范围 ， 但 
都 是 为 能 发 布 优秀 的 产品 出 力 。 我 们 促成 了 每 日 的 构建 ， 并 让 整个 团 
队 都 同步 使 用 同一 个 版 本 。 大 家 都 近 成 一 股 绳 ， 团 队 的 工作 模式 也 建 
立 了 起 来 。 团 队 的 每 个 成 员 都 被 培训 使 用 统一 的 风格 来 报告 、 分 析 和 
管理 pug。 这 就 是 一 群 正确 的 人 在 一 起 合作 做 正确 的 事 。 

HGTS: 好 吧 ， 这 听 起 来 很 困难 啊 ， 团 队 是 怎么 做 到 的 ? 

Hung: 其 实 ， 老 团队 里 的 很 多 人 都 离开 了 ， 大 约 有 80% 的 人 都 离 
开 了 。 不 过 留 下 的 人 成 了 技术 负责 人 ， 珊 领 新 来 的 人 人。 不 是 每 个 人 都 
适合 每 个 项 目 ， 在 Google 这 么 大 的 公司 ， 如 果 Android 项 目 不 适 合 你 ， 
很 可 能 在 其 他 地 方 可 以 找到 合适 的 项 目 。Google 把 大 量 的 项 目 组 合成 
了 一 个 非常 健康 的 测试 生态 环境 。 

HGTS: 那 好 处 是 什么 ? 

Hung: 好 处 区 是 这 样 能 够 关注 价值 。 我 们 做 的 每 件 事 都 有 明确 的 
目的 。 我 们 质疑 所 有 的 事情 : 测试 用 例 、 每 项 目 动 化 测试 。 其 实 我 们 
正在 做 的 很 多 事情 丈 通 不 过 这 种 审视 。 如 宁 目 动 化 不 能 融 来 明确 的 价 
值 ， 我 们 就 上 废弃 它 。 所 有 的 事情 都 是 价值 驱动 的 ， 这 才能 成 就 团队 。 


AR SEIS WET A, REALE: 你 们 做 的 每 一 件 
事 都 要 创造 价值 ， 并 且 能 够 持续 地 创造 价值 。 

HGTS: 虽然 你 讲 得 轻松 ， 但 很 明显 这 件 事 做 起 来 并 不 容易 ! 还 
是 讲 一 下 你 所 描述 的 团队 的 一 些 细节 吧 。 我 们 有 bug 的 报告 流程 ， 但 是 
很 显然 这 其 中 还 有 很 多 其 他 的 东西 。 你 是 怎么 组 织 这 些 工作 的 ? 

Hung: 我 喜欢 把 Android 用 术语 “主线 (pillar) ”来 描述 。 我 知道 
你 们 测试 Chrome OS 的 时 候 用 不 同 的 术语 ， 不 过 我 还 是 喜欢 主线 这 个 
概念 ， 我 们 所 有 的 测试 人 员 都 通过 一 个 主线 来 明确 。 对 Android 来 说 ， 
我 们 有 四 大 主线 : 系统 主线 (内 核 、 媒 体 等 ;、 框 架 主 线 、 应 用 主线 
和 市 场 主线 。 我 们 每 个 测试 人 员 都 对 其 中 的 一 个 主线 进行 测试 。 

HGTS: 这 容易 理解 。 我 喜欢 把 测试 人 员 按 照 需要 不 同 技能 的 主 
线 来 组 织 的 方式 。 这 样 ， 你 的 团队 既 有 人 熟知 压 层 的 东西 ， 也 有 人 了 
解 上 层 的 东西 ， 而 主线 的 划分 突出 了 这 些 能 力 ， 真 不 错 ! 那么 目 动 化 
测试 呢 ? 你 又 是 怎么 利用 它 的 ? 

Hung: 我 学 会 了 对 目 动 化 测试 保持 怀疑 的 态度 。 测 试 人 员 可 以 对 
产品 的 目 动 化 测试 的 一 个 远大 目标 投入 巨大 的 热情 ， 人 花费 数 个 月 的 时 
间 编 写 目 动 化 测试 ， 然 而 产品 或 平台 的 一 次 变化 就 可 能 让 这 些 努 力 都 
付 之 一 炉 。 投 入 人 力 编写 那些 不 能 经 受 时 间 检 验 的 自动 化 测试 是 最 大 
的 一 种 浪费 。 我 认为 ， 目 动 化 测试 需要 能 够 快速 编写 、 快 速 执 行 、 解 
决 特定 的 问题 。 如 果 你 不 能 立即 理解 一 个 上 自动 化 测试 用 例 的 目的 ， 那 
束 说 明 这 个 用 例 太 复杂 了 。 你 需要 让 自动 化 测试 足够 简单 ， 有 确定 的 
范围 ， 最 重要 的 是 要 产生 价值 。 比 如 ， 我 们 有 一 系列 目 动 化 测试 来 检 
验 一 个 构建 版 本 ， 以 确定 它 是 不 是 足够 可 靠 ， 可 以 从 金 丝 鸡 发 布 版 本 
转 同 Droid 发 布 版 本 。 

HGTS: 等 一 下 ! 什么 是 Droid 发 布 版 本 ? 

Hung: 喔 ， 对 不 起 。 残 像 我 刚 开 始 说 的 ， 我 们 Android 团 队 做 事 
总 有 些 特 别 。 我 们 的 发 布 版 本 和 你 们 在 Chrome 中 用 的 不 一 样 。 我 们 有 


42218 (Canary) ^ ZG (Droid-food) 《类 似 于 dogfood， 但 仅 限 
于 Android 团 队 ) 、 试 验 货 (Experimental) 、Google 货 (Google- 
food) ， 大 街 货 (Street-food) 这 几 个 发 布 版 本 。 最 后 的 大 街 货 也 就是 
对 外 发 布 的 版 本 。 其 他 团队 也 有 类 似 的 概念 ， 只 不 过 他 们 会 用 其 他 的 
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的 bug， 通 过 后 才能 变 成 Dev 版 本 。 我 了 7 解 了 ， 小 而 灵 。 你 们 有 专职 的 
测试 开发 工程 师 负 责 这 些 目 动 化 吗 ? 

Hung: 一 奉子 也 不 会 有 。 我 的 测试 人 员 全 都 是 通才 。 有 具体 来 说 ， 
每 个 人 都 能 做 手工 测试 ， 真 的 是 每 个 人 都 能 。 探 索 式 测试 是 深入 学 习 
理解 一 个 产品 的 最 佳 途径 。 我 永远 不 会 让 一 个 测试 开发 工程 师 成 为 一 
个 框架 开发 者 。 我 希望 他 们 深入 产品 并 了 解 如 何 使 用 它 。 每 个 测试 人 
员 都 必须 强调 用 户 。 他 们 必须 是 专家 级 的 用 户 ， 通 晓 整 个 产品 的 每 个 
细节 。 在 我 的 团队 ， 我 们 把 如 稳定 性 测试 、 电 源 管理 、 性 能 测试 、 压 
力 测 试 和 第 三 方 应 用 程序 的 快速 检查 都 留 给 上 自动 化 测试 完成 。 举 个 例 
子 ， 没 有 人 能 够 手动 发 现 相 机 的 内 存 泄露 或 在 各 个 平台 上 验证 一 个 单 
一 特性 的 功能 一 一 这 些 都 需要 自动化。 大 量 重复 性 的 工作 不 适合 手工 
测试 ， 或 者 一 些 需 要 机 器 才 能 达到 的 高 精度 测试 就 必须 通过 目 动 化 测 
试 来 完成 。 

HGTS: 所 以 你 们 的 测试 工程 师 的 数量 要 比 测 试 开 发 工程 师 多 不 


少 ? 


Hung: 不 是 ， 恰 恰 相 反 。 我 们 团队 的 测试 开发 工程 师 大 概 旦 测 弃 
工程 师 的 两 倍 。 只 不 过 测试 开发 工程 师 和 测试 工程 师 的 界限 并 不 那么 
明显 ， 有 了 时候 可 能 会 从 事 对 方 的 工作 。 我 不 太 在 意 他 们 的 职称 ， 只 
能 创造 价值 束 行 。 

HGTS: 好 的 ， 咱 们 谈 谈 和 手工 测 试 吧 。 你 显然 很 认真 地 对 待 对手 
工 测 试 (我 为 此 佩服 你 ) ° 


Hung: 我 是 手工 测试 坚定 不 移 的 文 持 者 。 坐 下 来 目 己 钻研 整个 产 
品 不 是 明智 之 举 。 我 们 需要 仔细 观察 要 进行 测试 的 每 日 构建 版 本 ， 分 
析 里 面 有 些 什么 。 哪 些 是 变化 了 的 ? 有 多 少 行 新 增 或 修改 的 代码 ? 有 
多 少 新 的 或 更 改过 的 功能 我 们 需要 处 理 ? 提交 代码 更 痢 的 是 哪些 程序 
A? 与 昨天 的 版 本 相 比 ， 变 化 的 代码 分 布 有 多 广 ? 这 些 问 题 都 能 帮助 
我 们 抓 住 重 点 ， 而 不 是 目 顾 目地 探索 整个 产品 。 针 对 每 日 构建 的 版 
本 ， 我 们 可 以 把 重点 放 在 发 生 改 变 的 地 方 ， 来 让 目 己 的 工作 更 有 效 

这 也 意味 着 团队 之 间 的 沟通 非常 重要 。 我 要 求 每 个 人 都 要 进行 探 
索 式 的 测试 ， 因 此 减少 大 家 的 重复 工作 很 重要 。 我 们 有 每 日 沟通 会 ， 
来 确定 哪些 东西 是 重要 的 、 需 要 测试 的 ， 保 证 大 家 可 以 一 起 来 完成 它 
们 。 手 工 测试 对 我 来 说 束 是 抓 重 点 和 做 沟通 。 有 了 这 两 点 我 殉 认 可 所 
付出 的 努力 就 是 值得 的 、 有 价值 的 。 

HGTS: 你 会 为 手工 测试 创建 文档 吗 ? 还 是 纯粹 的 探索 式 测 试 ? 

Hung: 是 探索 式 的 ， 但 也 为 它 创建 文档 。 在 两 种 情况 下 ， 我 们 会 
为 手工 测试 创建 文档 。 第 一 种 情况 是 ， 当 我 们 有 一 个 通用 的 用 例 ， 它 
可 以 被 每 次 的 构建 版 本 使 用 而 且 也 是 主要 的 测试 路 径 。 我 们 把 这 些 用 
例 记录 下 来 放 到 GTCM 中 ， 这 样 所 有 的 测试 人 员 或 测试 外 包 都 能 获取 
和 使 用 这 些 文档 。 第 二 种 情况 是 ， 我 们 为 每 个 功能 点 记录 测试 指导 
案 。 每 个 功能 点 都 有 目 己 的 特性 。 手 工 测 试 人 员 把 这 些 特性 作为 一 些 
引导 原则 记录 下 来 ， 一 般 后 来 的 测试 人 员 能 够 在 后 续 的 版 本 里 很 快 接 
手 这 个 功能 点 的 测试 。 总 的 来 说 ， 我 们 会 花 时 间 为 系统 级 的 用 例 和 特 
定 于 功能 点 的 指导 方针 创建 文档 。 

HGTS: 谈 谈 你 们 对 开发 人 员 的 要 求 吧 。 你 会 要 求 他 们 提供 规格 
说 明 书 吗 ? 会 要 求 他 们 使 用 测试 驱动 开发 吗 ? 单元 测试 呢 ? 

Hung: 在 理想 世界 里 ， 我 猜想 在 写 每 行 代码 之 前 都 能 为 之 写 好 测 
试用 例 ， 而 每 个 测试 用 例 又 来 源 于 规格 说 明 书 。 也 许 这 样 的 理想 世界 


真 的 存在 。 我 不 知道 。 不 过 在 这 个 快速 发 展 并 充满 革新 的 世界 ， 你 只 
会 得 到 你 能 得 到 的 东西 。 如 果 你 写 了 规格 说 明 那 么 非常 感谢 ， 我 会 好 
好 利用 它 。 但 现实 是 ， 你 必须 遵循 一 些 现 有 的 东西 。 要 求 提供 规格 说 
明 书 并 不 会 奏效 。 坚 持 要 求 单 元 测试 也 不 会 让 那些 单元 测试 更 有 价 
值 。 规 格 说 明 书 或 单元 测试 用 例 并 不 会 (除了 一 些 明 显 的 回归 错误 ) 
帮助 我 们 更 好 地 发 现 真实 用 户 会 遇 到 的 问题 。 这 就 是 我 们 的 世界 ， 测 
试 人 员 的 世界 。 你 只 有 手 上 的 这 些 东 西 ， 还 要 利用 好 这 些 东 西 为 产 
品 、 为 团队 增加 价值 。 

我 的 经 验 是 ， 所 有 的 工程 师 出 发 点 都 是 好 的 。 没 有 谁 想 让 产品 错 
误 不 断 。 但 是 创新 不 可 能 被 计划 得 那么 恰到好处 。 时 间 计 划 和 竞争 压 
力也 不 会 因为 我 对 产品 质量 的 抱怨 而 发 生 改 变 。 我 可 以 继续 抱怨 或 者 
开始 做 点 儿 什 么 产生 价值 ， 我 选择 了 后 者 。 

我 的 现实 情况 是 每 天 都 有 成 百 上 千 行 的 代码 更 新 ， 对 ， 我 是 说 每 
天 。 有 杰出 的 、 富 于 创造 力 的 开发 人 员 ， 束 应 该 有 同样 数量 的 杰出 
的 、 富 于 创造 力 的 测试 人 员 与 之 相配 。 没 有 时 间 抱 奶 ， 也 不 能 要 求 别 
人 去 做 什么 ， 而 是 要 自己 努力 创造 价值 。 

HGTS: Hung， 真 高 兴 你 在 我 们 这 边 儿 ! 好 ， 现 在 我 要 问 几 个 可 
以 快速 回答 的 问题 ， 准 备 好 了 吗 ? 如 果 你 有 多 余 的 一 天 来 测试 Android 
的 发 布 版 本 ， 你 会 做 什么 ? 

Hung: 要 是 真有 多 出 来 的 一 天 ， 就 会 再 多 出 一 个 构建 版 本 ! 但 是 
不 可 能 有 多 出 来 的 一 天 ， 这 种 事 不 可 能 发 生 ! 

HGTS: 讲 得 好 ! 好 吧 ， 有 什么 遗憾 吗 ? 你 能 讲 一 个 在 发 布 版 本 
里 没 能 发 现 的 bug， 而 导致 了 用 户 不 快 的 事 吗 ? 

Hung: 首先 ， 地 球 上 所 有 的 测试 人 员 都 经 历 过 这 个 。 没 有 任何 软 
件 发 布 以 后 没有 bug。 这 是 不 可 避免 的 。 对 我 自己 来 说 ， 每 当 这 事 儿 发 
AES DR ET ° 

HGTS: 好 了 ， 没 这 么 容易 过 天 ! 说 一 个 ! 


Hung: 好 吧 。 几 个 版 本 以 前 ， 有 一 个 动态 壁纸 的 bug。 在 某 种 情 
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了 ， 没 什么 用 户 受 到 影响 。 不 过 这 还 是 不 应 该 发 生 的 。 当 时 我 们 是 做 
了 测试 的 ， 相 信 我 ， 当 时 我 们 已 经 做 了 测试 的 ! 


4.6 Chrome 测 试 工程 经 理 Joel Hynoski 的 访谈 


Joel Hynoski 是 一 名 资深 的 测试 工程 经 理 ， 在 Google 成 立 之 初 束 在 
西雅图 一 柯 特 兰 的 办 公 室 工作 ， 多 年 来 他 负责 了 各 种 各 样 的 项 目 。 他 
现在 负责 包括 Chrome 和 Chrome OS 在 内 的 所 有 的 客户 端 产品 。 在 办 公 
室 大 家 都 知道 他 的 外 号 是 “古怪 的 澳洲 人 ”， 平 静 的 时 候 表 现 出 测试 人 
员 的 特质 ， 争 吵 起 来 又 像 个 丑 怒 的 经 理 。 

本 书 作 者 最 近 和 Joel 一 起 座谈 他 的 测试 理念 和 在 Chrome 和 Chrome 
OS 中 的 经 验 。 

HGTS: 快 点 儿 ， 告 诉 我 们 你 用 是 的 什么 电脑 ! 

Joel: 〈 举 起 他 的 笔记 本 电脑 ) Chromebook 宝 贝 儿 ! 

HGTS: 能 让 我 们 看 看 你 背包 里 面 还 有 什么 好 玩意 儿 吗 ? 

Joel: 哈 ! 我 名 里 有 个 手机 ， 附 近 还 有 个 平板 电脑 ， 不 过 我 自己 
一 直 在 用 我 正在 测试 的 东西 。 我 用 这 台 Chromebook 做 所 有 的 事情 ， 当 
RAMA ITAA STIR, Batik bug 。 

HGTS: {FAM IA LEER, (NHS LAR ` Kas ^ Chrome 
Ags ` Chrome OS， 以 及 所 有 其 他 我 们 开发 的 客户 端 操作 系统 和 上 
面 运行 的 应 用 。 这 真 会 涉及 一 大 堆 开 发 团队 啊 。 你 是 怎么 平衡 这 么 多 
事情 的 ? 


Joel: 其 实测 试 本 号 束 是 一 种 平衡 的 乏术 。 一 方面 ， 我 们 必须 能 
让 产品 发 布 ， 对 每 个 发 布 版 本 做 所 需 的 检查 以 保证 没有 问题 。 男 一 方 
面 ， 我 们 必须 开发 优秀 的 自动 化 测试 ， 并 为 自动 化 投入 开发 自己 的 框 
架 和 基础 设施 。 再 有 ， 我 们 需要 围绕 “开发 一 构建 一 测试 一 发 布 ” 的 流 
程 模式 计划 和 安排 我 们 的 工作 。 还 有 ， 测 试 专家 们 不 断 癌 世界 展示 他 
们 进行 测试 的 最 新 方法 ， 如 果 你 不 试验 这 些 新 东西 ， 你 会 觉得 自己 是 
在 原 地 踏步 。 

HGTS: 你 是 变 戏 法 儿 的 还 是 有 三 头 六 臂 ? 说 正经 的 ， 你 们 怎么 
把 这 些 事情 有 条 理 地 组 织 起 来 ? 

Joel: 这 要 从 实践 中 来 。 我 如 果 有 个 软件 要 发 布 ， 其 他 事情 可 能 
束 都 会 为 它 让 步 。 这 里 面 总 是 有 个 权衡 。 我 们 是 敏捷 团队 ,但 也 会 进 
行 最 后 的 回归 验证 。 我 们 做 探索 式 测试 ， 但 我 们 也 需要 跟踪 多 个 发 布 
版 本 和 各 种 平台 。 我 不 相信 绝对 的 事物 。 

真实 的 情况 是 ， 没 有 一 种 单一 的 模型 适用 于 所 有 团队 。 即 使 在 同 
一 个 公司 ， 也 有 多 样 性 。 举 例 来 说 : 我 的 Chrome 团 队 和 我 的 Chrome 
OS 束 用 两 套 不 同 的 流程 ， 而 他 们 其 实 还 都 坐 在 同一 幢 楼 里 呢 ! 你 能 说 
其 中 一 种 瓯 比 另 一 种 好 吗 ? 这 个 就 要 依 情况 而 论 了 ， 我 能 做 的 就 是 帮 
助 两 个 团队 相互 交流 哪些 东西 是 成 功 的 ， 哪 些 东 西 对 测试 团队 来 说 能 
够 有 效 。 天 键 是 我 的 测试 团队 必须 做 好 一 切 准 备 ， 知 晓 哪 些 能 行 ， 哪 
些 不 行 ， 对 不 行 的 事 儿 随时 抛弃 。 除 非 将 来 什么 时 候 我 真能 把 所 有 东 
西 都 能 理 顺 ， 目 前 我 还 是 倾 回 于 使 用 一 种 综合 的 方式 ， 混 合 使 用 开发 
目测 、 脚 本 化 测试 、 探 索 式 测试 、 基 于 风险 的 测试 、 目 动 化 功能 测试 
等 多 种 方法 。 

HGTS: 哎呀 ， 听 起 来 男 一 本 天 于 Google 测 试 的 书 就 要 诞生 了 。 

Joel: 是 呀 ， 给 我 一 年 的 时 间 〈 把 它 写 出 来 ) ， 我 们 就 可 以 一 拼 
销量 或 者 比比 在 亚 马 还 书店 上 的 评分 了 。 或 者 ，， 我 们 是 Google 
呀 ， 我 们 可 以 比较 搜索 结果 的 相关 性 排名 ! 


HGTS: 行 ， 给 我 们 讲 讲 Chrome 和 Chrome OS 的 测试 吧 。 我 们 在 
这 本 书 里 用 很 大 篇 幅 讨 论 了 Google 中 Web 应 用 团队 使 用 的 测试 基础 设 
施 的 话题 。 不 过 对 于 你 的 客户 端 领域 来 说 ， 那 些 都 不 适用 了 ， 是 吗 ? 

Joel: 的 确 ， 这 是 一 个 巨大 的 挑战 。 客 户 端 在 Google 不 是 主流 。 
我 们 是 一 家 互联 网 公司 ， 我 们 了 解 的 是 如 何 开发 和 测试 Web 应 用 。 
此 ， 对 我 们 所 有 的 客户 问 产 品 来 说 ， 我 们 必须 把 这 些 经 验 和 工具 转移 
回 客户 端 上 。Google 储 备 的 基础 设施 用 不 上 ， 这 是 一 个 实 实 在 在 的 挑 
战 。 

Chrome 本 里 是 由 一 个 小 的 试验 产品 发 展 而 来 的 ， 就 是 几 个 开发 工 
程 师 在 一 起 决定 他 们 能 开发 一 个 更 好 的 浏览 硕 ， 然 后 他 们 证 全 世界 能 
够 使 用 它 (而 且 它 是 开源 的 ， 还 有 人 在 修改 它 ) 。 早 期 的 时 候 ， 测 试 
是 开发 人 员 自 己 完成 的 ， 然 后 一 些 核心 测试 人 员 壬 斌 使用。 不 过 当 用 
户 数量 超过 于 万 的 时 候 ， 它 必须 有 一 流 的 测试 团队 才 行 。 

HGTS: 我 们 认识 那些 家 伙 ， 他 们 确实 很 梭 。 那 你 现在 有 了 团队 
了 ， 面 临 的 最 大 的 挑战 是 什么 ? 

Joel: 是 互联 网 ! 说 真 的 ， 互 联网 不 断 地 变化 ， 而 Chrome 浏 蜗 器 
必须 跟 上 。 捅 件 、 扩 展 、 应 用 、 新 的 HTML 版 本 、Flash 等 都 在 不 断 
地 出 现 和 变化 。 变 化 的 组 合 超出 想象 ， 但 是 每 种 组 合 都 不 能 出 错 。 如 
采 我 们 发 布 的 浏览 器 不 能 显示 你 喜欢 的 网 站 ， 或 者 导致 你 喜欢 的 网 络 
应 用 不 能 运行 ， 你 想 都 不 想 束 会 选择 其 他 的 浏 贤 嚣 了。 的 确 ， 我 们 还 
支持 大 量 不 同 的 操作 系统 ， 不 过 相 比 之 下 数量 束 少 多 了 ， 而 且 可 以 更 
简单 地 通过 我 们 的 虚拟 化 平台 来 进行 测试 。 因 此 ， 最 证 我 头疼 的 还 是 
变化 多 端的 互联 网 。 

HGTS: 多 样 性 的 问题 确实 是 测试 人 员 的 痛 点 。 我 们 知道 你 也 要 
写本 目 己 的 书 ， 所 以 不 能 把 你 的 风头 全 抢 了 ， 但 还 是 讲 两 项 你 用 来 驯 
服 不 听话 的 互联 网 的 技术 或 方法 吧 ! 


Joel: 两 项 ? 喇 ， 好 吧 。 我 来 谈 谈 应 用 程序 的 兼容 性 和 UI 目 动 化 
吧 ， 因 为 它们 都 挺 成 功 的 。 其 他 的 东西 我 都 留 在 下 本 书 里 讲 ， 嘿 咖 ， 
更 棒 的 东西 。 

应 用 程序 的 兼容 性 问题 对 浏 贤 器 来 说 相当 重要 。 我 们 需要 回答 这 
样 的 问题 , “Chrome 浏 览 器 能 兼容 互联 网 的 站 点 和 应 用 程序 吗 ? "RJ 
话说 ，Chrome 能 正确 显示 页 面 和 运行 web VHI? 很 显然 我 们 不 可 能 
进行 完 完全 全 的 验证 ， 因 为 那么 多 网 页 和 应 用 我 们 没 法 一 一 试 过 。 即 
便 我 们 能 一 个 一 个 试验 ， 我 们 又 可 以 用 什么 东西 来 对 比 结果 呢 ? 我 们 
解决 这 个 问题 的 办 法 是 测试 那些 最 流行 的 站 点 (我 们 是 Google， 我 们 
很 容易 知道 是 哪些 站 点 ) ， 然 后 和 Chrome 的 参照 版 本 ， 甚 至 其 他 浏 
贤 妖 进行 比 对 。 我 们 的 目 动 化 程序 会 泻 染 数 千 个 站 点 然后 逐 点 来 比 对 
显示 结果 。 我 们 每 天 的 开发 版 本 都 会 做 这 样 的 测试 ， 所 以 很 快 能 找到 
回归 的 问题 。 泻 染 测 试 结果 任何 不 一 致 的 地 方 ， 都 会 有 人 工 来 检验 哪 
里 出 了 问题 。 

不 过 结果 检查 只 是 一 部 分 工作 。 我 们 还 需要 能 驱动 浏览 右 来 访问 
站 点 和 应 用 。 我 们 是 通过 UI 目 动 化 来 做 到 这 点 的 。 你 可 以 用 Chrome 的 
一 个 叫做 目 动 化 代理 的 API 来 局 动 浏览 器 ， 路 转 到 一 个 URL， 查 询 浏 
tarts, RNB ANEW, Se RINNE RE T — E 
Python 接口 ， 这 样 你 就 能 用 Python (大 多 数 Google 的 测试 人 员 都 非常 
精通 Python) 编写 脚本 来 驱动 浏览 器 了 。 通 过 它 能 开发 出 强大 的 功能 
目 动 化 测试 。 我 们 的 开发 人 员 和 测试 人 员 共 同 开 发 了 一 个 庞大 的 测试 
库 “PyAuto (可 以 在 以 下 网 址 获取 关于 PyAuto 的 信息 : 
http://www.chromium.org/ developers/testing/pyauto ° ) " 

HGTS: 1f, KA T Chrome} i38, i Chrome OS 就 是 把 
Chrome 装 进 笔记 本 电脑 ， 所 以 测试 起 来 应 该 不 费力 了 ， 对 吧 ? 

Joel: WARME T Safari war, Mac OS 系统 也 测 完 了 ， 测 完了 
IEN bia, Windowsiivc alg SIS? 对 ， 没 错 ! 不 过 别 生 了 由 于 有 了 


Chrome OS， 意 味 着 Chrome 测 试 起 来 束 更 麻烦 了 ， 因 为 我 的 应 用 兼容 
性 自动 化 测试 还 得 多 增加 一 个 平台 ! 

不 过 我 告诉 你 : 我 们 和 擎 控 整 条 产品 线 ， 这 是 件 好 事 。Google 可 以 
控制 整个 系统 ， 从 板 载 模块 一 直 往 上 到 用 户 界面 。 从 用 户 界面 往 下 ， 
所 有 东西 看 起 来 都 不 错 一 一 和 Chrome 测试 是 重合 的 。 我 用 PyAuto 来 
开发 非常 棱 的 上 自动 化 用 例 集 ， 可 以 大 量 复 用 Chrome 团 队 的 测试 例 。 田 
外 ， 还 有 固件 、 内 核 、GPU、 网 络 适 配 姻 、 无 线 模块 、3G...... 我 们 现 
在 能 在 这 么 小 的 盒子 里 塞 进 这 么 多 东西 ! 这 都 是 目 动 化 测试 难以 企及 
的 地 方 。 这 些 测 试 都 要 耗费 大 量 的 人 力 ， 根 本 不 符合 Google 超 高 的 开 
发 测试 比 。 我 们 的 系统 从 原型 阶段 回 前 推进 ， 我 们 需要 把 电路 板 插 到 
纸板 盒子 里 。 

我 们 之 前 的 测试 工具 在 这 里 都 不 能 用 了 。Chrome OS 是 开源 的 ， 
处 于 一 般 的 Google 开 发 系统 之 外 。 基 本 上 不 伪 张 地 说 ， 我 们 必须 把 很 
多 测试 工具 完全 重新 开发 一 届 ， 重 新 定义 这 些 工 具 使 用 的 流程 ， 再 把 
工具 贡献 给 外 部 开发 人 员 使 用 。 我 们 每 六 个 星期 瓯 要 发 行 三 个 发 布 版 
本 (开发 版 本 、beta 版 本 、 稳 定 版 本 ) 来 文 持 五 种 不 同 平台 的 操作 系 
SEB GK NAMA, BRAK MT ! 

因此 我 们 必须 有 创造 力 。 什 么 地 方 我 们 能 推动 开发 人 员 去 编写 工 
具 ? 我 们 能 要 求 合作 伙伴 和 制造 商 帮 我 们 做 多 少 测试 ? 我 们 怎么 让 测 
试 团队 学 会 有 效 地 测试 硬件 ? 我 们 能 制造 什么 工具 和 装备 来 降低 手工 
测试 的 负担 ? 怎么 让 设计 好 的 测试 能 在 真实 的 设备 上 运行 ? 

HGTS: 我 们 担心 你 列 出 这 么 多 问题 ， 其 实 是 在 卖 天 子 ,为 了 让 
我 们 等 着 读 你 的 书 来 找到 答案 ! 

Joel: 事实 上 你 只 能 等 ， 因 为 我 还 没完 全 找到 答案 ， 而 我 的 工作 
瓯 是 这 个 ! 我 们 还 在 准备 第 一 次 发 布 ， 我 们 必须 找到 有 效 的 办 法 ， 把 
手工 测试 和 上 自动 化 测试 结合 起 来 。Autotest (译注 : 关于 Anutotest 的 信 
息 可 以 在 下 面 的 网 址 找到 http://autotest.kernel.org/。) 是 一 个 开源 测试 


工具 ， 最 初 是 为 了 测试 Linux 内 核 而 开发 的 ， 我 们 把 它 改 造成 能 够 驱 
动 在 真实 Chrome OS 硬件 上 执行 完整 自动 化 测试 的 工具 。 我 们 团队 为 
其 做 了 大 量 扩展 工作 ， 让 它 能 够 处 理 硬 件 平台 的 问题 。 这 些 扩展 代码 
都 贡献 回 了 开源 社区 。Anutotest 用 于 我 们 的 预 发 测试 、 冒 烟 测 试 、 版 本 
验证 测试 ， 可 以 同时 支持 虚拟 机 和 真实 硬件 。 当 然 ， 我 们 也 大 量 使 用 
PyAuto 在 Chrome OS 系统 上 通过 驱动 Chrome 浏 贤 絮 来 执行 目 动 化 测 
试 。 

HGTS: 你 和 James 在 Google 很 有 名 ， 你 们 都 是 招聘 测试 人 员 方 面 
的 专家 。 当 招聘 中 的 候选 人 不 清楚 是 不 是 想 在 Google 做 测试 的 时 候 ， 
你 们 俩 都 能 说 服 他 们 。 你 们 有 什么 魔法 吗 ? 

Joel: James 和 我 共用 一 个 办 公 室 很 长 时 间 ， 我 们 俩 都 对 测试 这 个 
行当 充满 了 热情 。 所 以 我 们 俩 合 起 伙 来 干 这 事 再 合适 不 过 了 。 只 不 过 
James 是 个 大 嗓门 ， 会 议 发 言 人 那 种 类 型 ， 所 有 人 都 认识 他 。 他 能 说 服 
那些 人 是 因为 他 的 名 声 。 而 我 能 做 到 这 一 点 是 因为 我 能 让 他 们 对 测试 
产生 热情 。 我 们 的 方法 完全 不 同 ， 知 道 吗 ， 他 靠 的 是 运气 ， 我 靠 的 是 
技术 ! 

我 开玩笑 呢 。 不 过 我 真 的 非常 喜欢 测试 ， 这 也 包括 喜欢 招聘 适合 
Google 测 试 的 工程 师 。Chrome 团 队 的 招聘 挺 有 难度 的 ， 因 为 它 天 然 有 
一 种 为 了 解决 问题 而 不 断 加 人 的 倾 癌 。 例 如 ， 怎 么 解决 在 一 周 之 内 为 
三 个 发 布 版 本 在 CR-48、 三 星 Chromebook， 以 及 新 的 实验 硬件 等 多 个 
平台 进行 验证 的 问题 ? 嘿 ， 抓 上 30 个 外 包工 程 师 去 干 ! 怎么 在 24 小 时 
之 内 验证 Chrome OS 的 稳定 版 本 ? 要 是 有 18 个 手工 测试 人 员 ， 那 也 是 
/]NSE— BR ! 

可 我 不 想 管 理 一 个 只 会 财 着 眼 执行 测 试 脚本 的 测试 团队 。 那 太 无 
聊 了 。 我 想 管 理 的 团队 应 该 能 够 做 开拓 性 的 测试 开发 ， 创 造 新 的 工 
具 ， 在 他 们 日 常 工作 中 发 挥 各 种 创造 力 。 所 以 我 给 团队 加 入 的 时 候 ， 
我 要 让 团队 保持 一 个 很 高 的 技术 水 平 。 这 就 是 招聘 的 难度 。 你 怎么 找 


到 有 足够 技术 水 准 的 人 加 入 Google， 还 能 帮助 他 们 从 内 心 热爱 测试 工 
作 ? James 认识 很 多 这 种 人 ， 但 是 总 有 一 天 他 的 资源 会 用 光 。 我 采用 
一 种 综合 的 方法 来 挖掘 是 什么 东西 让 测试 真 的 非常 有 意思 并 且 充 满 挑 
战 。 有 时 候 你 目 己 都 会 感到 奇怪， 很 多 人 一 心 想 成 为 开发 人 员 ， 但 走 
当 他 们 认识 到 测试 是 怎么 一 回 事 儿 的 时 候 ， 他 们 非常 愿意 在 测试 领域 
一 试 喘 手 。 当 他 们 发 现 测试 中 的 挑战 ， 体 会 到 其 中 的 乐趣 以 后 ， 你 就 
真 的 找到 一 位 相当 棱 的 测试 人 员 了 。 

HGTS: 来 宜 传 一 下 ， 为 什么 选择 测试 这 个 职业 ? 

Joel: 测试 是 开发 过 程 里 工程 师 能 涉及 的 最 远 的 地 方 。 我 们 已 经 
解决 了 很 多 关于 如 何 高 效 开发 软件 的 问题 ， 但 是 测试 方面 还 有 很 大 的 
空间 可 以 拧 索 。 那 么 多 技术 任务 如 何 组 织 ?” 如 何 高 效 地 进行 目 动 化 测 
试 ? 以 及 如 何 保持 敏捷 但 又 不 操之过急 ?” 测试 是 当前 软件 工程 领域 最 
有 意思 的 部 分 ， 而 且 有 非常 好 的 职业 发 展 的 机 会 。 你 不 再 只 能 管 软件 
中 的 一 小 块 代码 ， 你 能 测试 HTML5 站 点 的 GPU 加 速 能 力 ， 你 能 验证 是 
不 是 为 多 核 CPU 做 了 足够 的 优化 以 达到 最 佳 的 性 能 ， 你 能 确保 沙 盒 是 
真正 安全 的 。 对 我 来 说 ， 这 些 东 西 能 让 我 非常 兴奋， 热血 沸腾 ， 而 且 
我 很 高 兴 能 在 Google 的 测试 部 门 工作 ， 为 解决 最 具 挑 战 性 的 问题 而 努 
Jj 


4.7 测试 总 监 


Google 测 试 总 监 的 目 由 度 非 党 高。 很 难 用 一 段 文字 来 描述 测试 总 
监 的 工作 内 容 ， 因 为 他 们 每 个 人 都 有 很 大 的 目 治 权利 ， 而 且 方 法 各 不 
相同 。 他 们 只 有 很 少 的 一 些 共 同 点 : 都 问 Patrick Copeland 汇 报 ， 使 用 
共同 的 Google 基 础 设施 ， 每 周 在 一 起 开 个 会 交流 各 目 领 域 的 问题 。 不 


过 和 前 面 一 部 分 讲述 的 技术 经 理 〈 技 术 经 理 向 总 监 汇报 ) 不 同 ， 总 监 
可 以 用 任何 他 们 认为 合适 的 方式 来 指导 他 们 的 各 种 产品 团队 。 

总 监 负 责 批 准 招聘 和 转岗 ， 全 面 掌 控 测试 团队 人 事 方面 的 各 种 问 
题 。 他 们 有 大 量 的 预算 用 于 提升 士气 ， 外 出 活动 等 ， 也 可 以 用 来 购买 
“schwag” (ii Google 标志 的 物品 、 背 包 、T 恤 、 夹 克之 类 的 ) fü 
们 经 党 攀比 着 为 测试 团队 订购 最 酷 的 东西 ， 让 每 个 人 都 能 得 到 它们 。 
在 公司 里 ， 测 试 团队 是 一 个 非常 强大 的 品牌 ， 而 这 些 schwag 也 在 证 明 
这 一 点 。 真 的 ， 有 时 候 这 些 schwag 都 有 点 儿 像 病毒 了 “。James 
Whittaker 的 团队 曾经 订购 了 一 批 T 恤 ， 印 闭 犀 利 的 标语 “The Web Works 
(you're welcome)" (互联 网 能 用 啦 ( 不 客气 )) ， 这 些 T 恤 太 流 行 了 ， 甚 
至 在 Google 园 区 经 常 能 看 到 开发 人 员 也 穿着 它 。 

公司 没有 试图 在 各 个 团队 推行 什么 统一 的 东西 ， 包 括 schwag 在 
内 。 公 司 也 没有 试图 让 各 个 领域 则 的 重复 工作 降 到 最 低 。 在 各 个 团队 
都 到 励 创新 ， 大 家 都 攀比 着 开发 能 让 自己 更 强 的 自动 化 测试 和 各 种 工 
具 。 但 如 采 能 把 相关 的 工作 融合 起 来 或 者 共同 开发 ， 公 司 也 会 给 特别 
奖励 ， 以 促进 相互 之 间 的 交流 。 另 外 ， 测 试 人 员 的 20% 目 由 时 间 ， 也 
会 经 常用 于 参与 其 他 总 监 下 面 的 团队 的 工作 。 实 际 上 ，20% 目 由 时 间 
的 制度 经 名 被 总 监 们 用 来 管理 那些 想 转 到 新 团队 的 测试 人 员 : 先 用 
20% 的 上 时间 为 新 团队 工作 几 周 ， 然 后 再 反 过 来 花 20% 的 时 间 为 原来 的 
团队 工作 几 周 来 完成 这 种 转换 。 

Google 束 是 靠 这 种 自由 转 网 的 机 制 ， 来 保证 在 公司 层面 的 合作 精 
神 ， 而 不 至 于 被 人 性 中 上 自然 的 竞争 意识 所 分 裂 。Google 或 励 工程 师 大 
约 每 18 个 月 歼 转 六 一 次 。 注 意 是 鼓励 而 不 是 强制 。 总 监 们 必须 和 其 他 
总 监 保持 展 好 的 天 系 ， 因 为 大 家 都 共享 所 有 的 工程 师资 源 。 工 程 师 在 
团队 间 的 目 由 流动 最 终 会 使 所 有 人 受益 。 

总 监 的 工作 就 是 发 挥 领导 才能 。 他 们 必须 建设 强大 的 团队 ， 让 他 
们 专注 于 发 布 高 质量 的 、 实 用 的 、 能 够 改变 世界 的 软件 产品 。 他 们 必 
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Google 高 速 的 工作 方式 ， 民 好 的 掌握 管理 乞 术 来 激发 员工 的 生产 力 。 
他 们 必须 对 Google 的 各 项 工具 和 基础 染 构 了 如 指 掌 ， 这 样 才 不 会 浪费 
至 贯 的 时 间 ， 努 力争 取 每 天 都 能 进行 发 布 。 

经 么 才能 做 到 这 些 而 成 为 一 名 优秀 的 测试 总 监 呢 ? 回答 这 个 问题 
最 好 的 方式 就 是 听 听 那些 真正 做 到 这 些 的 人 怎么 说 。 


4.8 地 理 信息 测试 总 监 Shelton Mar 的 访 详 


Shelton Mar 是 测试 总 监 ， 和 很 多 其 他 公司 一 样 ， 这 个 职位 和 副 总 
裁 级 别 相 当 。 他 是 Google 最 早 的 测试 人 员 之 一 ， 那 时 候 Patrick 
Copeland 都 还 没 来 ， 工 程 生产 力 (Engineering Productivity) 部 门 那 时 
候 还 叫做 测试 服务 部 门 。Shelton 从 小 团队 的 测试 经 理 一 路 普 升 到 负责 
管理 搜索 、 基 础 架构 和 地 图 服务 的 测试 总 监 。Shelton 现在 是 测试 行政 
主管 ， 负 责 被 Google 称 为 本 地 商务 的 产品 线 ， 洱 盖 包 括 Google Earth 和 
Google Map 在 内 的 所 有 与 位 置 相 关 的 产品 。 

本 书 作者 请 到 Shelton 来 谈 谈 Google 测 试 的 内 幕 ， 和 他 最 近 是 如 何 
管理 Google 搜 索 的 测试 的 。 

HGTS: Shelton ， 你 很 早 就 来 Google 了， 了 解 Patrick 在 本 书 序 言 
里 提 到 的 测试 服务 部 门 时 代 的 事情 。 跟 我 们 讲 讲 在 那 段 岁月 里 测试 是 
什么 样子 的 吧 ! 

Shelton: 那 时 候 当然 与 现在 有 很 大 不 同 。 很 多 事变 化 很 快 ， 但 是 
有 一 件 事 永远 是 不 变 如 一 的 : Google 总 能 保持 非常 快速 的 发 展 。 不 过 
早期 的 时 候 我 们 还 比较 笠 运 。 互 联网 比 现 在 简单 很 多 ， 我 们 的 应 用 也 
比较 小 ， 一 堆 聪 明 人 一 起 努力 惑 可 以 了 。 我 们 经 历 了 很 多 次 “十 万 火 


急 ” 的 危险 时 刻 ， 但 是 那 时 候 还 能 够 有 少数 几 个 英雄 力挽狂澜 。 各 个 产 
品 在 底层 都 相互 关联 ， 端 到 端的 测试 既 有 脚本 化 的 ， 也 有 手工 执行 
的 。 随 着 我 们 越 来 越 大 ， 这 么 多 的 依赖 带 来 了 很 多 问题 。 

我 不 是 说 这 种 测试 有 什么 不 对 ; 你 证 整合 的 系统 能 够 正常 工作 是 
必要 的 ， 但 是 过 度 依赖 于 最 后 阶段 的 测试 过 程 ， 这 会 导致 发 现 问题 以 
后 的 排查 过 程 会 非常 困难 。 

Pat 到 来 之 前 我 们 正在 这 些 问 题 中 痛苦 地 挣扎 。 

HGTS: 我 估计 当时 对 于 后 端 系统 来 说 问题 更 加 严重 ， 因 为 更 难 
确定 “ 端 到 端的 测试 。 

Shelton: 的 确 如 此 ! 我 们 经 常 由 于 太 难 保证 后 台 系 统 的 质量 而 不 
能 按时 发 布 。 后 台 系 统 不 能 出 现 差错 ， 因 为 它 会 影响 太 多 产品 线 了 。 
例如 ，BigTable 要 是 出 了 问题 ， 很 多 应 用 程序 都 会 受到 影响 。 在 后 台 
ASP RM EA i SIM, BE NEAL, MA SBOE 
反应 。 

HGTS: 因此 ， 你 从 端 到 端的 测试 转向 了 验证 后 台 服 务 基础 架构 
的 核心 模块 。 讲 讲 你 是 怎么 做 的 吧 。 

Shelton: 我 们 开始 改变 团队 的 人 员 组 成 。 我 们 重新 定义 了 测试 开 
发 工程 师 的 角色 ， 开 始 着 重 招聘 技术 超群 的 候选 人 。 当 有 了 足够 的 技 
能 保障 以 后 ， 我 们 就 开始 开发 一 套 更 好 的 后 台 测 试 解决 方案 。 我 们 重 
点 进行 模块 级 别 的 自动 化 测试 。 这 样 一 群 具 有 开发 和 测试 能 力 的 优秀 
工程 师 一 起 来 搞 我 们 的 后 台 基 础 设施 ， 你 可 以 预见 最 终 的 结果 。 

HGTS: 有 没有 什么 是 成 功 的 关键 ? 

Shelton: 是 的 ， 能 够 获取 开发 工程 师 的 支持 是 特别 重要 的 。 我 们 
的 测试 开发 工程 师 和 他 们 的 开发 伙伴 (注意 我 用 的 词 是 “伙伴 *"， 因 为 
成 功 需 要 真正 的 合作 ， 而 不 是 测试 自己 就 能 达成 的 ) 一 起 在 软件 开发 
的 不 同 层 次 进行 测试 。 这 种 伙伴 关系 使 我 们 的 能 力 被 大 大 加 强 了 。 很 
多 时 候 那 些 我 们 认为 不 可 能 在 组 件 级 别 解决 的 问题 ， 我 们 可 以 和 他 们 


一 起 在 代码 单元 级 别 解 决 。 这 种 合作 变 成 了 团队 的 一 种 氛围 ， 整 个 项 
目 团队 (开发 + 测试 ) 共同 对 组 件 级 别 的 产品 质量 负责 ， 而 测试 可 以 
集中 精力 来 改进 流程 、 框 架 、 工 具 集 和 和 集成 测试 。 

HGTS: 你 做 了 一 些 很 艰难 的 抉择 ， 比 如 招聘 和 开发 工程 师 一 样 
水 平 的 人 做 测试 。 你 是 怎么 想 的 ? 后 悔 吗 ?这 对 测试 文化 有 什么 影 
nia? 

Shelton: 这 大 概 是 我 们 在 Google 做 出 的 最 重要 的 一 次 转型 。 我 们 
意识 到 在 Google 必 须要 尽早 做 出 一 些 改变 : 把 测试 推 向 上 游 ， 让 整个 
团队 〈 开 发 + 测试 ) 为 交付 的 质量 负责 。 

测试 技术 必须 融入 到 项 目 团 队 。 因 此 ， 我 们 需要 非常 强 的 工程 
师 ， 他 们 能 理解 相关 技术 和 问题 ， 让 测试 更 加 科学 化 和 技术 化 。 

没有 足够 多 能 够 真正 理解 测试 的 (或 者 至 少 愿意 学 的 ) 优秀 的 软 
件 工程 师 ， 你 根本 不 可 能 完成 这 些 事情 。 当 我 们 从 另 一 个 角度 看 待 这 
个 困难 的 时 候 ， 我 们 意识 到 可 以 吸引 最 好 的 工程 师 来 解决 测试 中 的 难 
题 。 事 实证 明 我 们 借 此 建立 了 强大 的 团队 ， 他 们 都 很 喜爱 这 个 工作 © 

HGTS: 你 在 Google 的 任期 里 经 历 了 很 多 产品 ， 包 括 搜索 ， 这 是 
Google 的 支柱 产品 。 测 斌 搜索 产品 最 难 的 部 分 是 什么 ? 

Shelton: 决定 要 关注 哪些 问题 是 最 难 的 ! 当 工 程 师 开始 测试 搜索 
产品 的 时 候 ， 他 们 经 常 讲 Google 对 某 些 搜索 串 返 回 了 什么 结果 。 那 当 
然 是 需要 看 的 地 方 ， 但 是 搜索 质量 的 要 求 远 远 不 止 于 此 。 搜 索 是 一 套 
非常 复杂 精密 的 分 布 式 软件 系统 ， 为 用 户 提 供 统 一 、 和 稳定、 快速 的 响 
应 。 我 们 要 验证 整个 系统 是 否 可 靠 ， 你 必须 理解 索引 和 搜索 算法 。 你 
必须 理解 整套 系统 是 如 何 搭建 和 运作 的 ， 才 能 验证 各 部 分 是 否 能 正常 
工作 。 从 一 开始 我 们 就 非常 关注 这 些 事情 。 现 实 中 ， 我 们 把 搜索 质量 
和 检验 系统 的 正常 运作 区 分 开 来 。 我 们 更 关注 于 后 者 而 把 搜索 结果 的 
质量 评估 留 给 产品 团队 的 搜索 质量 专家 。 我 们 检验 基础 架构 和 处 理 


Google 搜 索 结 末 、 更 新 和 展现 的 各 个 系统 ， 而 这 些 系统 傈 证 了 Google 
能 产生 最 好 的 搜索 结 

HGTS: 当 接 手 一 个 痢 项 目的 时 候 ， 你 通 营 会 怎么 做 ? 你 : 会 先 
做 哪些 事 : 是 从 团队 建设 的 角度 入 手 ， 还 是 从 基础 技术 框架 的 角度 入 
手 ， 还 是 从 测试 流程 的 角度 入 手 ? 

Shelton: 一 般 来 说 ， 我 首先 会 让 我 的 团队 思考 , “对 被 测 系统 
说 ， 什 么 是 最 为 重要 的 东西 ? "对 搜索 来 说 是 性 能 ， 对 新 闻 来 说 是 时 歼 
性 ， 对 地 图 来 说 是 综合 性 和 完整 性 。 每 个 应 用 都 有 其 最 重要 的 属性 。 
类 似 的 ， 对 系统 基础 染 构 来 说 ， 数 据 完 整 性 对 存储 最 为 重要 ， 可 扩展 
性 对 网 络 系统 最 为 重要 ， 利 用 率 对 任务 管理 系统 最 为 天 键 。 当 你 分 清 
了 你 要 测试 的 特定 产品 的 关键 因素 以 后 ， 束 要 把 你 的 大 部 分 精力 集中 
在 检验 系统 的 核心 能 力 是 不 是 能 够 满足 这 些 关 键 属性 要 求 上 。 

当 这 些 重要 的 事情 搞定 以 后 ， 再 去 关心 那些 简单 的 事情 (用 户 界 
面 这 些 锦上添花 的 东西 ) 。 还 要 关注 那些 核心 的 不 容易 改动 的 方面 

(如 性 能 设计 ) ， 而 不 对 那些 很 容易 修改 的 方面 花费 太 多 精力 。 如 果 

你 过 早报 告 天 于 字体 的 bug， 我 就 会 担心 你 是 不 是 没有 捅 清 条 事情 的 
人 

HGTS: 在 有 关 手 工 测试 和 目 动 化 测试 之 间 的 拉 饥 战 中 ，Google 
似乎 从 大 量 的 手工 测试 偏 徊 了 大 量 的 自动化 测试 。 你 现在 古 怎 么 看 
的 ? 怎样 分 配 才 古 合 理 的 ? 你 怎么 知道 是 不 吓 过 于 偏向 哪 一 边 了 ? 

Shelton: 我 认为 你 应 该 能 目 动 化 多 少 束 目 动 化 多 少 。 手 工 测 试 会 
妨碍 我 们 持续 构建 的 理念 。 定 时 执行 的 组 件 级 别 的 验证 和 集成 测试 ， 
在 其 中 扮演 了 手工 测试 不 能 完成 的 角色 。 然 而 ， 目 动 化 测试 不 容易 更 
新 ， 需 要 长 期 的 维护 。 技 术 是 不 断 同 前 发 展 的 ， 必 然 会 市 来 快速 的 变 
化 ， 我 们 必须 不 断 重 新 开发 目 动 化 测试 才能 跟 上 这 个 脚步 。 可 以 这 人 么 
说 ， 有 些 事 情 是 手工 测试 可 以 做 但 十 目 动 化 测试 不 能 做 的 。 举 例 来 
说 ,移动 应 用 的 测试 涉及 大 量 不 同 的 硬件 设备 、 显 示 屏 幕 、 外 形 尺 


寸 、 驱 动 程序 等 ， 不 同 的 因素 组 合 是 爆炸 性 的 。 这 种 情况 下 ， 我 们 就 
应 该 用 一 些 手工 测试 来 完成 验证 工作 。 关 键 是 还 要 把 能 够 自动 完成 的 
流程 自动 化 。 让 机 器 完成 90% 的 工作 ， 剩 下 10% 的 验证 留 给 人 力 来 做 
(我 们 把 这 称 为 “最 后 一 英里 *) 。 上 自动化 可 以 完成 诸如 抓 取 所 有 设备 
上 的 屏幕 显示 ， 通 过 对 比 算 法 找 出 差异 ， 然 后 快速 完成 人 工 参 照 比 
对 。 人 力 资 源 非常 宝贵 ， 我 们 不 应 该 将 其 浪费 在 一 些 可 以 由 计算 机 完 
成 的 工作 上 ， 应 该 用 在 最 适合 用 人 来 判断 的 场合 而 非 重复 性 的 任务 。 

HGTS: 说 一 个 你 们 在 产品 发 布 以 后 令 你 诅 形 的 测试 遗漏 的 bug 
吧 。 

Shelton: 喔 ， 你 之 前 问 过 这 个 问题 吧 ? 我 怀疑 是 不 是 有 谁 能 真 的 
曾经 发 布 过 一 个 完美 的 产品 ? 反正 我 不 能 ， 真 遗憾 ! 我 最 后 悔 的 bug 是 
由 于 我 们 没 能 详尽 的 测试 数据 中 心 的 各 种 配置 变化 引起 的 。 有 一 次 ， 
新 版 本 上 线 却 没 经 过 任何 测试 。 那 次 配置 变化 使 得 最 终 用 户 看 到 的 搜 
索 结果 变 差 。 通 过 这 个 教训 ， 我 们 学 习 到 配置 变化 对 搜索 质量 有 多 人 么 
重要 。 从 那 以 后 ， 我 们 把 配置 变更 也 纳入 质量 流程 中 ， 我 们 开发 了 一 
套 自 动 化 测试 ， 每 次 数据 和 配置 变更 时 都 要 执行 。 

HGTS: 你 们 怎么 制定 这 些 自动 化 配置 测试 呢 ? 

Shelton: 要 非常 小 心 ! 每 当 我 们 发 现 某 项 配置 让 搜索 结果 变 差 
时 ， 我 们 就 编写 一 些 测试 检验 那些 配置 和 类 似 可 能 引起 问题 的 变化 。 
不 久 我 们 就 生成 了 一 套 从 问题 环境 中 总 结 出 来 的 测试 用 例 集 。 然 后 我 
们 自动 化 生成 各 种 数据 来 测试 我 们 的 环境 。 到 现在 这 种 bug 已 经 少 很 多 
了 。 绝 对 是 这 些 自动 化 测试 的 功劳 ， 让 我 们 对 线 上 系统 进行 配置 修改 
的 时 候 更 有 信心 了 。 


4.9 工程 工具 总 监 Ashish KumarlJUj? 


Google 的 工具 天 系 到 这 个 公司 的 存亡 ， 负 责 这 些 工 具 的 人 束 是 
Ashish Kumar。 他 人 负责 从 开发 人 员 使 用 的 集成 开发 环境 到 代码 审查 系 
统 、 构 建 系统 、 源 码 控制 、 静 态 检 查 、 通 用 测试 框架 ， 等 等 。 
Selenium 和 WebDriver 团 队 也 最 终 同 他 汇报 。 

本 书 作 者 最 近 与 Ashish 聊 到 了 他 在 Google 所 从 事 的 这 项 神奇 的 工 
作 。 

HGTS: Google 的 自动 化 测试 是 个 神秘 的 话题 ， 一 直 在 GTAC 大 会 
上 被 热 议 ， 而 你 正 是 Google 目 动 化 背后 的 那个 人 。 能 谈 谈 你 们 的 工具 
集 都 为 Google 的 工程 师 提供 了 哪些 功能 吗 ? 

Ashish: 我 的 团队 被 称 作 工程 工具 团队 。 开 发 人 员 日 常 工 作 中 需 
要 使 用 的 90% 的 工具 都 由 我 们 负责 开发 ， 这 些 工具 文 持 他 们 在 Google 
完成 高 质量 的 软件 编写 、 构 建 和 发 布 。90% 是 因为 我 们 还 不 文 持 一 些 
开源 产品 的 团队 ， 不 过 我 们 计划 也 开始 支持 他 们 。Google 特 别 强 调 为 
我 们 的 开发 工程 师 提供 强大 (并 具 可 伸缩 性 ) 的 基础 设施 。 公 司 外 的 
人 都 知道 Google 工 程 师 经 常 使 用 的 技术 ， 例 如 MapReduce 和 BigTable， 
而 我 们 的 工具 基础 框架 也 是 非常 重要 的 一 部 分 。 

HGTS: 能 描述 一 些 细 市 吗 ? 

Ashish: 好 ， 你 既然 问 了 ， 那 我 可 束 说 了 ! 整个 工具 集 包 括 下 面 

源码 工具 : 一 系列 用 于 简化 创建 工作 环境 、 提 交代 码 变更 、 代 码 
风格 检查 的 工具 。 我 们 可 以 用 工具 浏览 数 亿 行 代码 ， 发 现 并 预防 重复 
的 代码 。 还 有 用 于 建立 大 规模 索引 和 代码 重 构 的 工具 。 

开发 工具 : 集成 开发 环境 的 一 些 插件 ， 让 其 他 各 种 工具 适应 
Google 的 代码 并 连接 后 端的 云 服 务 。 代 码 审查 工具 ， 通 过 在 审查 阶段 
敬 入 相关 的 信和 号， 来 快速 完成 和 高 质量 的 代码 审查 。 

构建 框架 : 我 们 需要 把 代码 构建 的 版 本 分 发 到 各 种 语言 开发 的 项 
目 ， 需 要 用 到 数 万 颗 CPU， 数 不 清 的 内 存 和 存储 侣 。 虽 然 这 些 想起 来 


都 头疼 ， 但 是 我 们 的 构建 系统 可 以 轻松 对 付 。 这 个 构建 系统 既 文 持 目 
动 方式 ， 也 文 持 交互 方式 ， 在 很 多 情况 下 还 可 以 把 原本 需要 数 小 时 的 
任务 缩短 到 数秒 。 

测试 基础 架构 : 规模 化 的 持续 集成 。 这 意味 着 每 个 开发 人 员 的 每 
次 代码 提交 都 会 引发 目 动 测试 ， 每 天 要 运行 数 百 万 测试 用 例 集 。 我 们 
的 目标 是 为 开发 者 提供 立即 反馈 (或 者 尽量 即时 ) 。 男 一 方面 是 规模 
化 的 Web 测试 。 每 个 Google 的 产品 每 天 都 会 后 动 数 十 万 个 浏览 郁 会 
话 ， 对 各 种 不 同 的 浏览 硕 平 台 组 合 进行 测 弃 。 

本 地 化 工具 : 对 开发 人 员 提 供 的 文本 进行 持续 地 翻译 ， 以 达到 我 
们 的 产品 的 本 地 化 语言 版 本 可 以 和 英文 版 产品 同时 完成 。 

度量 、 可 视 化 和 报表 : 管理 所 有 Google 产 品 的 bug， 跟 踩 所 有 研发 
活动 《编码 、 测 试 和 发 布 ) 中 工程 师 的 各 项 指标 ， 把 这 些 数据 集中 存 
储 ， 并 向 团队 提供 可 操作 的 反馈 意见 进行 改进 。 

HGTS: 这 可 真 够 细致 的 。 很 显然 要 达到 你 们 今天 这 样 的 成 束 一 
定 经 历 了 大 量 的 创新 工作 。 可 是 你 们 怎么 平衡 并 维护 这 些 工具 和 进行 
新 工具 开发 之 间 的 关系 呢 ? 毕 苋 你 的 团队 也 不 十 那 么 大 啊 ! 

Ashish: 人 简单 来 说 束 古 这 些 工 作 我 们 不 能 全 都 做 。 我 的 团队 是 核 
心性 的 工程 工具 团队 ， 为 整个 Google 公 司 服 务 。 很 多 时 候 ， 产 品 团队 
会 针对 他 们 目 己 的 特殊 需求 打造 目 己 的 工具 。 有 时候 这 些 工具 变 得 更 
为 通用 ， 我 们 会 对 它们 进行 评估 看 看 是 否 有 必要 使 之 集中 化 〈 这 样 就 
能 让 整个 Google 公 司 都 能 用 起 来 ) 。 还 有 些 时 候 ， 我 团队 里 的 工程 师 
可 能 想到 了 一 个 目 认 为 很 酯 的 点 子 ，Google 极 为 保 扩 这 类 目 发 性 的 创 
始 项 目 。 我 们 收纳 一 个 工具 到 中 央 工 具 库 里 的 标准 有 两 方面 : 一 方面 
征 它 必须 对 生产 力 有 极 大 的 提升 作用 ， 另 一 方面 是 它 必 须 对 大 部 分 
Google 工 程 师 来 说 都 定 适 用 的 。 毕 竟 ， 我 们 是 核心 工具 团队 ， 发 展 广 
泛 适 用 的 、 有 巨大 影响 力 的 工具 才 是 我 们 的 意义 所 在 。 如 采 一 个 工具 
只 对 一 个 产品 团队 有 用 ， 那 这 个 产品 团队 吏 该 负责 这 个 工具 。 当 然 ， 


我 们 也 会 进行 大 量 的 实验 。 为 了 我 们 的 持续 成 功 ， 我 们 用 一 两 人 的 小 
团队 来 进行 一 些 开 发 实验 。 很 多 这 种 实验 来 和 目 于 员工 的 20% 目 由 时 
间 。 我 对 在 20% 时 间 苑 畴 里 的 任何 事情 都 不 会 说 不 ， 这 20% 的 时 间 ， 
由 员工 自己 支配 而 不 是 我 来 指派 。 有 些 尝 试 会 失败 ， 但 是 成 功 的 那些 
完全 弥补 了 所 有 失败 的 损失 。 敢 想 敢 干 、 快 速 试销、 不断 进取 ! 有 些 
工具 项 目 充 当 了 众 化 剂 的 作用 ， 所 以 很 难 直 接 量化 衡量 它们 对 生产 力 
的 影响 ， 但 所 有 的 工具 项 目 都 需要 为 Google 的 生产 力作 出 页 献 。 

HGTS: 有 没有 什么 工具 想法 是 你 一 开始 不 看 好 但 最 后 成 功 的 ? 

Ashish: A! 大 规模 的 持续 集成 。 这 个 问题 太 大 了 ， 以 至 于 从 表 
面 上 来 看 根本 不 可 行 。 我 们 曾经 循环 使 用 数 千 台 机 器 进行 持续 集成 。 
团队 里 有 人 提出 建立 一 个 集中 的 持续 集成 基础 框架 ， 为 Google 的 所 有 
项 目 提供 持续 集成 服务 。 这 个 框架 可 以 从 源码 控制 系统 里 获取 代码 变 
更 通知 ， 在 内 存 里 管理 一 个 庞大 的 跨 语言 的 代码 依赖 图 谱 ， 完 成 代码 
的 自动 构建 并 运行 相关 的 测试 。 除 我 之 外 也 还 有 不 少 人 质疑 它 的 规模 
过 于 庞大 ， 而 且 大 量 资源 的 使 用 会 让 我 们 的 服务 器 吃不消 。 这 些 疑 虑 
都 是 对 的 ， 资 源 消 耗 确实 非常 大 。 但 是 我 们 的 工程 师 攻克 了 一 项 一 项 
的 技术 壁垒 ， 现 在 这 个 系统 已 经 运行 而 且 实现 了 设计 的 目标 。 和 其 他 
项 目 一 样 ， 我 们 对 待 这 个 项 目的 态度 也 是 : 从 小 做 起 ， 不 断 证 明 其 价 
值 ， 然 后 当 项 目 体 现价 值 以 后 扩大 规模 。 

HGTS: 那 有 没有 你 一 开始 看 好 ， 但 是 最 后 却 没 能 成 功 的 工具 
WE? 

Ashish: 也 有 ! 远程 结对 编程 。Google 的 研发 团队 分 布 在 各 个 地 
Jj; 很 多 团队 都 遵循 结对 编程 等 敏捷 开发 技术 。 很 多 情况 下 你 正在 编 
辑 的 代码 ， 原 本 是 其 他 办 公 区 的 工程 师 编写 的 ， 而 当 你 有 个 问题 想 快 
速 得 到 答案 的 时 候 ， 常 常会 因为 距离 而 不 能 如 愿 ， 影 响 效 率 。 我 们 进 
行 的 一 项 尝试 是 为 我 们 的 集成 开发 环境 (IDE) 加 入 一 个 “远程 结对 编 
程 的 ”插件 。 目 标 是 紧密 集成 Google Talk (以 及 视频 ) ， 以 便于 在 工程 


师 修改 代码 过 程 中 产生 问题 的 时 候 可 以 和 代码 的 原作 者 通过 开发 环境 
的 内 髓 功能 直接 对 话 ， 代 码 的 原作 者 可 以 看 到 这 位 工程 师 的 工程 环境 
并 像 结对 编程 那样 编辑 代码 ， 整 个 过 程 双方 都 可 以 通过 视频 交流 。 没 
有 体味 儿 困 扰 的 结对 编程 ! 可 惜 的 是 ， 我 们 发 布 了 预 宽 版 本 (只 提供 
了 协作 编辑 而 没有 集成 Google Talk) 以 后 ， 并 没有 从 内 部 试用 者 那里 
得 到 我 们 期 望 的 结果 ， 因 此 我 们 终止 了 这 个 答 试 。 开 发 工程 师 似乎 对 
这 个 工具 并 不 感 兴趣 。 我 们 可 能 并 没有 真正 找到 他 们 的 痛 点 。 

HGTS: 你 对 那些 准备 构建 自动 化 流水 线 的 公司 有 什么 建议 ?从 
哪些 工具 开始 ? 

Ashish: 特别 重要 的 一 件 事 ， 是 要 关注 团队 里 新 来 的 开发 工程 师 
必须 使 用 到 的 开发 环境 。 要 让 代码 的 获取 、 编 辑 、 测 试 、 运 行 、 调 试 
和 部 署 都 非常 价 单 。 消 除开 发 人 员 这 些 环节 的 痛 苗 会 大 大 提高 生产 
力 ， 而 且 能 帮助 团队 按时 交付 高 质量 的 软件 。 要 想 达 到 这 一 点 ， 清 楚 
地 定义 依赖 天 系 非常 重要 。 建 立 一 套 持 续集 成 的 系统 ， 让 它 能 够 稳 害 
运行 ， 能 够 快速 的 辐 开 发 工程 师 提 供 反 馈 。 如 果 信 息 反 馈 超 过 了 几 分 
钟 ， 那 就 需要 加 入 更 多 的 机 器 。CPU 的 运行 时 间 可 要 比 程序 员 在 事务 
间 进 行 切 换 或 等 待 要 便宜 多 了 。 让 执行 和 调试 代码 像 输入 一 条 命令 那 
么 简单 ， 部 署 也 许 能 够 做 到 这 一 点 。 如 果 是 互联 网 公司 ， 还 要 能 够 文 
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HGTS: 你 的 团队 会 找 什 么 样 的 工程 师 ? 好 像 不 是 什么 样 的 开发 
工程 师 都 能 成 为 一 名 工具 开发 者 。 

Ashish: 工具 开发 需要 对 计算 机 学 科 的 基础 有 着 特别 的 热爱 ， 诸 
如 语言 开发 、 编 译 右 、 系 统 编 程 等 ， 还 要 乐于 见 到 自己 的 工作 能 文 持 
其 他 优秀 的 程序 员 ， 为 公司 创造 更 大 的 价值 。 其 实 我 是 在 寻找 能 把 工 
程 师 当做 上 自己 的 客户 的 人 。 

HGTS: 说 到 客户 ， 你 们 怎么 说 服 人 们 开始 使 用 你 们 的 工具 呢 ? 


Ashish: Googler 是 一 个 非常 独特 的 群体 。 他 们 通 音 不 需要 太 多 的 
推销 。 我 们 每 周 主持 一 次 被 称 为 工程 生产 力 工具 播报 的 活动 ， 展 示 我 
们 的 工具 。 工 程 师 会 来 参加 ， 他 们 会 问 问题 ， 如 琳 某 个 工具 能 为 他 们 
解决 实际 的 问题 ， 他 们 就 会 拿 去 党 试 。 总 体 来 说 ， 能 解决 实际 问题 的 
工具 就 会 得 到 更 多 的 应 用 ， 不 能 解决 实际 问题 的 工具 整 不 行 。 这 里 的 
秘诀 殉 是 避免 后 面 那 种 情况 ， 或 者 至 少 发 现 那些 不 能 发 挥 作用 的 项 目 
而 尽早 终止 它们 ° 

HGTS: 你 见 到 过 有 的 工具 陷入 这 样 的 境地 ， 或 者 甚至 产生 的 负 

影响 大 于 功效 的 情况 吗 ? 

Ashish: 有 的 ， 但 是 我 不 会 坐视 不 管 。 对 这 些 项 目 我 们 都 会 很 快 
终止 投入 的 。 创 建 工 具 的 目的 是 让 流程 自动 化 并 使 其 简单 。 有 时 候 工 
具 项 目 可 能 目 动 化 了 一 些 不 好 的 行为 。 如 果 开 发 工程 师 的 手工 操作 本 
来 束 古 错误 的 ， 为 什么 还 要 实现 一 个 工具 让 这 些 错 误 更 易 犯 呢 ? 工具 
开发 者 应 该 回 过 头 来 想 想 是 不 是 可 以 使 用 一 些 其 他 的 方法 ， 而 不 古 一 
味 地 自动 化 人 们 现 有 的 工作 方式 。 

HGTS: 你 现在 关注 哪些 东西 ? 你 们 团队 目前 在 做 什么 工具 ? 

Ashish: 首 匈 ， 我 必须 强调 有 很 多 工具 维护 的 工作 需要 完成 。 
Web 变化 相当 快 ， 所 以 我 们 的 围绕 Web 技 术 的 工具 也 处 于 持续 发 展 的 
状态 。 这 种 变化 有 时 候 担 使 我 们 重 写 工 具 ， 有 时候 需要 添加 全 新 的 功 
能 。 这 十 一 种 持续 的 挑战 ， 也 是 机 会 。 我 们 做 的 很 多 工具 是 供 内 部 使 
用 的 ， 我 在 这 里 不 便 多 说 ， 不 过 如 有 果 你 考虑 的 是 规模 、 规 模 、 还 征 规 
RANE, MARS T! 


4.10 印度 Google 测 试 总 监 SujaySahni 访 谈 


Google 测 试 文化 中 很 重要 的 一 个 方面 瓯 是 通过 建立 各 种 区 域 性 和 
全 球 化 的 工作 中 心 吸引 各 种 人 才 的 加 入 。 印 度 海 得 拉巴 (Hyderabad) 
是 Google 设立 的 第 一 个 全 球 测试 工程 中 心 ， 以 吸引 来 目 印 度 的 人 才 。 
这 里 的 工程 师 为 一 些 重 要 的 Google 产 品 工 作 ， 把 原来 以 人 工 测 试 (或 
测试 服务 ) 为 核心 的 方向 转移 到 测试 工程 化 的 方向 上 来 。SujaySahni 
是 这 里 的 测试 总 监 ， 他 组 建 并 掌管 着 印度 的 Engineering Productivity 团 
队 o 


HGTS: 印度 距离 Google 总 部 非常 遥远 ， 你 是 怎么 在 那里 建立 工 
程 生产 力 (Engineering Productivity) 部 门 的 ， 又 是 怎样 参与 到 那些 关 


键 项 目 中 去 的 ? 

Sujay: 工程 生产 力 (Engineering Productivity) 团队 跟 Google 其 他 
的 工程 师 团 队 的 模式 一 样 ， 都 是 在 世界 各 地 建立 研发 中 心 ， 找 到 当地 
合适 的 人 才 。 在 印度 设立 研发 中 心 并 不 是 基于 成 本 上 的 考虑 ， 完 全 是 
因为 我 们 在 这 里 能 找到 尖端 人 才 。 我 们 在 印度 建立 了 足够 大 的 团队 可 
以 承担 重要 的 大 型 项 目 。 印 度 作为 区 域 性 研发 中 心 ， 是 为 数 不 多 的 同 
时 拥有 开发 人 员 和 测试 人 员 在 一 处 工作 的 中 心 。 这 样 的 研发 中 心包 括 
伦敦 、 纽 约 、 柯 特 兰 、 班 加 罗 尔 人 研发 中 心 和 其 他 一 些小 一 些 的 办 公 
区 。 

我 们 设 有 一 些 大 区 人 研发 中 心 ， 会 支持 像 欧 洲 这 样 的 特定 区 域 。 欧 
洲 区 研发 中 心 设 在 苏黎世 ， 亚 太 区 研发 中 心 设 在 海 得 拉巴 ， 美 国 东海 
尾 大 区 人 研发 中 心 设 在 纽约 。 这 些 研 发 中 心 ， 负 责 PRA cate 
研发 中 心 的 技术 力量 联系 起 来 ， 并 和 其 他 大 区 人 研发 中 心 进行 合作 。 
样 的 组 织 更 容易 进行 时 间 和 人 才 的 管理 。 不 过 ， 海 得 拉 ee 
的 全 球 人 研发 枢纽 ， 为 整个 Google 公 司 提供 人 才 资 源 和 输出 测试 团队 的 
技术 解决 方案 。 在 Google 开 展 软 件 测试 的 早期 ， 海 得 拉巴 是 最 大 的 软 
件 测试 工程 师 人 才 基 地 ， 做 了 很 多 重要 的 战略 性 项 目 。 这 个 研发 中 心 


的 工程 师 为 一 些 关 键 的 Google 产 品 工作 ， 推 动 和 促进 了 从 测试 服务 音 
门 回 工程 生产 力 部 门 的 演变 。 

HGTS: 印度 在 Google 测 试 发 展 方面 扮演 了 什么 样 的 角色 ? 

Sujay: 海 得 拉巴 (Hyderabad) 中 心 ， 我 们 一 般 简 称 其 为 HYD, 
是 Google 建立 的 第 一 个 区 域 性 研发 中 心 。 我 们 在 班加罗尔 也 建立 了 一 
个 研发 中 心 ， 以 便 更 好 地 获得 当地 的 工程 师资 源 ， 但 是 海 得 拉巴 很 快 
已 经 成 为 了 全 球 测试 工程 团队 的 中 心 。 研 发 中 心 初 步 建立 ，HYD 中 心 
的 工程 师 混 合 了 测试 工程 师 、 测 试 开 发 工程 师 和 很 多 临时 员工 和 外 包 
人 员 。 他 们 为 很 多 重要 的 和 知名 的 Google 产 品 工作 (如 搜索 、 广 告 、 
移动 产品 、Gmail 和 工具 条 就 包括 其 中 ) ， 在 不 同 的 角色 上 贡献 力量 。 
这 些 工程 师 主要 开发 了 一 些 非常 天 键 的 测试 基础 设施 和 框架 ， 文 持 工 
程 师 团队 能 够 目 动 化 他 们 的 测试 ， 更 快 地 发 布 产 品 。2006 年 一 2007 
年 ，HYD 拥 有 整个 Google 大 约 一 半 的 测试 开发 工程 师 。 当 时 有 个 有 趣 
的 传闻 : 据说 测试 开发 工程 师 (SET) 这 个 职位 就 是 由 HYD 招 聘 的 第 
一 位 测试 工程 师 努 力 推动 设立 的 ! 不 管 我 们 是 不 是 真有 这 么 大 作用 ， 
但 是 我 们 至 少 间接 地 为 从 测试 服务 部 门 到 工程 生产 力 部 门 的 转变 铺 平 
了 道路 。 

到 2007 年 下 半年 ， 我 们 领导 层 决 定 转变 目标 ， 发 展 团 队 进入 新 的 
重要 的 领域 ， 减 少 条 块 分 割 ， 建 设 更 大 的 高 级 人 才 库 ， 引 导 大 量 加 入 
的 年 轻 工 程 师 。 到 2008 年 ， 我 们 逐步 成 为 区 域 中 心 的 角色 ， 让 各 地 的 
工程 团队 拥有 自己 本 地 的 〈 或 相距 不 远 的 ) 测试 团队 。 这 样 ，HYD 就 
有 可 能 集中 精力 关注 那些 Google 测试 团队 还 未 成 熟 的 领域 ， 比 如 先进 
的 延迟 检测 工具 ; 后 台 、 云 性 能 和 稳定 性 工具 ;回归 检测 机 制 ， 客 户 
端 测试 工具 等 。 这 一 阶段 的 另 一 个 变化 是 对 云 测 试 以 及 工程 化 工具 基 
础 架构 的 投入 。 这 其 中 很 多 工作 ， 如 云 病 代码 覆盖 度 框架 、 开 发 IDE 
工具 、 可 扩展 云 测试 架构 、Google 工 具 箱 ， 还 有 一 些 实验 性 的 工作 ， 
最 终 都 成 为 了 产品 化 的 工具 。 


我 们 团队 提供 的 很 多 重要 的 工具 和 服务 不 仅 文 持 Google 全 球 的 工 
程 团 队 ， 同 时 也 作为 核心 基础 设施 共享 给 开源 社区 的 开发 者 们 。HYD 
的 工程 师 为 开源 社区 贡献 了 很 多 代码 ， 包 括 App Engine, Selenium, 
Eclipse 和 IntelliJ 插 件 等 项 目 。 

HGTS: 这 都 是 一 些 非常 重要 而 且 很 棒 的 项 目 。 你 能 讲 一 个 HYD 
独立 开发 的 项 目 吗 ? 

Sujay: 好 的 。Google 诊断 工具 ， 是 完全 由 海 得 拉巴 工程 生产 力 
团队 开发 的 。 这 个 工具 可 以 帮助 我 们 的 客户 文 持 团队 与 客户 一 起 诊断 
他 们 在 使 用 Google 产 品 时 过 到 的 问题 ， 帮 助 获 取 他 们 的 计算 机 系统 的 
技术 规格 和 配置 信息 。 还 有 其 他 的 工具 。HYD 工 程 生产 力 团 队 主 要 开 
发 整个 Google 使 用 的 基础 框架 、 工 具 和 测试 代码 。 这 些 工 具 包 括 像 
IDE 这 样 的 开发 工具 ， 部 署 在 云 中 的 代码 编译 核心 基础 框架 ， 开 发 人 
员 目 测 工 具 ， 代 码 复 杂 度 、 履 盖 率 检测 工具 ， 以 及 各 种 静态 分 析 工 
具 。 在 测试 工具 方面 ，HYD 团队 负责 为 Google 很 多 云 应 用 产品 开发 
用 于 压力 测试 和 性 能 分 析 的 测试 基础 设施 ， 为 很 多 核心 产品 如 搜索 、 
企业 服务 、Gmail、 广 告 等 开发 测试 工具 和 完成 测试 工作 。 

HGTS: 好 的 ， 我 想 继续 了 解 一 下 这 些 工 具 ， 因 为 光 听 名 字 就 够 
吸引 人 的 了 。 你 能 谈 谈 你 提 到 的 代码 履 盖 度 工具 吗 ? 代码 窗 盖 度 的 话 
题 在 Google 测 试 博客 上 一 直 被 广泛 关注 。 

Sujay: 代码 覆盖 度 是 一 个 被 广泛 接受 的 衡量 测试 效果 的 指标 。 传 
统 的 做 法 是 ， 每 个 团队 分 配 一 些 专门 的 资源 〈 工 程 师 、 硬 件 、 软 件 ) 
来 度量 项 目的 代码 集合 。 然 而 ，Google 在 印度 有 一 个 专门 团队 来 保证 
整个 Google 人 研发 工作 的 代码 无 颖 地 获得 覆盖 度 指标 。 为 了 达到 这 一 
点 ， 大 家 需要 遵守 一 些 人 简单 的 步 又 来 启动 这 个 功能 ， 只 需要 一 次 性 投 
入 不 到 五 分 钟 时 间 。 这 一 步 做 完 以 后 ， 就 可 以 得 到 他 们 项 目 构建 版 本 
的 覆盖 度 指标 ， 集 中 显示 报表 结果 用 于 查看 和 分 析 。 禾 盖 度 统计 已 经 
文 持 了 上 于 个 项 目 ， 文 持 所 有 的 主要 编程 语言 ， 统 计 了 数目 万 代码 文 


件 。 履 盖 度 框架 紧密 集成 在 Google 的 云 架 构 之 上 ， 编 译 和 构建 代码 ， 
支持 持续 大 规模 的 代码 变更 (每 分 钟 度量 一 次 ) ， 每 天 处 理 数 万 次 构 
建 。 它 就 是 为 Google 快 速 增长 的 代码 数量 而 设计 的 。 我 们 还 有 支持 性 
的 框架 ， 用 智能 的 方式 提供 测试 优先 级 的 建议 ， 根 据 特定 的 代码 变化 
指出 需要 被 执行 的 测试 用 例 。 我 们 这 样 就 有 了 更 有 效 的 测试 覆盖 、 更 
可 信 的 代码 质量 和 快速 反馈 ， 为 Google 节 省 了 大 量 的 工程 资源 。 

HGTs. 听 起 来 代码 覆盖 度 做 的 不 错 。 那 下 面 讲 讲 你 提 到 的 诊断 
工具 吧 。 

Sujay: 诊断 工具 是 海 得 拉巴 的 工程 生产 力 部 门 的 测试 开发 工程 
师 ， 通 过 20% 自 由 时 间 创 建 和 开发 的 。 它 弥补 了 在 调试 用 户 问题 的 时 
候 ，Google 开 发 人 员 所 需 的 技术 数据 和 普通 电脑 用 户 的 技术 知识 之 间 
的 鸿沟 。 有 时 候 要 了 解 Google 用 户 提交 的 问题 报告 ， 获 取 Google 软 件 
产品 状态 的 技术 数据 是 必须 的 。 这 可 能 包括 像 操 作 系统 、 语 言 设置 等 
简单 的 信息 ， 也 可 能 包括 复杂 的 细节 数据 ， 例 如 应 用 程序 的 版 本 信息 
和 配置 等 。 用 一 种 简单 快捷 的 方式 获取 这 些 信息 并 不 容易 ， 因 为 用 户 
可 能 对 这 些 细节 根本 不 了 解 。 诊 断 工具 会 简化 这 个 过 程 。 现 在 如 果 有 
个 问题 报告 需要 更 多 的 细节 数据 ， 我 们 的 支持 工程 师 就 简单 地 在 这 个 
工具 中 创建 一 个 新 的 配置 ， 描 述 哪 些 特定 信息 需要 被 收集 ， 然 后 通过 
邮件 联系 用 户 ， 或 者 给 用 户 提供 一 个 “google.com” 下 的 唯一 链接 ， 用 
户 可 以 从 那里 下 载 一 个 很 小 (小 于 300KB) 的 带 有 Google 签 名 的 执行 
文件 。 这 个 执行 文件 可 以 分 析 用 户 的 机 器 ， 并 收集 被 配置 需要 的 数据 
显示 给 用 户 进行 预览 ， 然 后 用 户 可 以 决定 是 否 可 以 发 送 给 Google 。 当 
然 在 执行 完毕 以 后 退出 时 ， 这 个 执行 文件 就 会 把 自己 删除 。 我 们 非常 
注意 保护 用 户 的 隐私 信息 ， 用 户 在 提交 之 前 会 检查 这 些 数据 ， 而 且 只 
有 在 用 户 同意 的 情况 下 才 会 提交 。 在 我 们 内 部 ， 这 些 数 据 被 发 送 给 合 
适 的 开发 人 员 来 加 快 问题 的 解决 。 这 个 工具 被 Google 客 户 支持 团队 使 


用 ， 对 Google Chrome, Google Toolbar， 以 及 其 他 客户 端 应 用 特别 有 
用 。 而 且 ， 它 让 我 们 的 用 户 更 容易 的 从 Google 获 得 帮助 。 

HGTS: 你 也 几 次 提 到 性 能 和 压力 测试 ， 这 里 有 什么 故事 吗 ? 我 
知道 你 们 在 Gmail 的 性 能 测试 方面 介入 很 深 。 

Sujay: Google 的 Web 应 用 产品 范围 非常 广泛 。 保 证 低 延 迟 的 用 户 
体验 是 非常 重要 的 目标 。 因 此 ， 性 能 测试 (重点 是 JavaScript 的 执行 
和 页 面 泻 染 的 速度 ) 是 任何 产品 发 布 前 的 一 项 关键 检查 。 以 前 ， 性 能 
延迟 问题 往往 需要 几 天 甚至 儿 个 星期 的 时 间 来 定位 和 解决 。 印 度 工程 
生产 力 团 队 开 发 了 Gmail 的 前 端 性 能 测试 框架 来 覆盖 重要 的 用 户 行为 ， 
你 证 对 用 户 最 频繁 执行 的 操作 进行 细致 的 性 能 测试 。 性 能 测试 使 用 一 
个 定制 的 服务 硕 ， 测 试 在 受 控 的 环境 中 部 署 运行 ， 利 于 保持 环境 稳 
定 ， 便 于 定位 回归 问题 。 这 个 解决 方案 有 三 个 部 分 。 

提交 队列 : 允许 工程 师 在 提交 代码 变更 之 前 执行 测试 (和 收集 性 
能 延 时 数据 ) 。 开 发 人 员 就 能 更 快 得 到 反馈 ， 避 人 免 把 缺陷 引入 代码 


寺 续 构建 ， 把 测试 服务 器 同步 成 最 新 的 代码 并 持续 执行 相关 测 
试 ， 发 现 并 阻止 回归 问题 。 这 使 团队 可 以 把 用 于 检测 回归 问题 的 时 
间 ， 从 几 天 或 几 星 期 缩减 到 小 时 或 分 钟 级 别 。 

产品 性 能 延迟 检测 : 用 于 定位 特定 代码 变更 导致 的 产品 性 能 延迟 
回归 问题 。 我 们 对 变化 范围 进行 切 分 ， 在 多 个 检查 点 分 段 运 行 测 试 。 

这 个 方法 在 我 们 的 产品 发 布 前 帮助 定位 了 很 多 关键 缺陷 ， 并 推动 
了 测试 前 移 ， 因 为 开发 人 员 目 己 就 可 以 非常 容易 地 局 动 这 些 测试 。 

HGTS: 你 们 都 有 哪些 创新 〈 技 术 上 的 和 非 技术 的 ) 的 工作 ? 你 
们 从 中 获得 了 怎样 的 经 验 ? 

Sujay: 我 们 正在 进行 的 一 些 实验 性 的 工作 包括 反馈 驱动 的 开发 工 
具 ， 用 于 收集 合适 的 指标 数据 并 反馈 给 我 们 的 工程 团队 来 提高 他 们 的 
生产 效率 。 还 包括 代码 可 视 化 工具 、 代 码 复杂 度 度量 工具 和 其 他 一 些 


东西 。 另 外 一 个 领域 是 先进 的 开发 环境 ， 帮 助 工程 团队 更 好 地 使 用 
IDE 和 度量 数据 来 提高 代码 质量 、 加 快 版 本 发 布 的 速度 。 其 他 正在 开 
发 的 工具 还 包括 在 整个 公司 范围 使 用 的 经 验 回 顾 工 具 ， 使 产品 的 发 布 
数据 变 得 统一 和 可 操作 。 
HGTS: 你 们 在 印度 为 一 个 分 布 在 全 球 各 地 的 软件 公司 提供 测试 
工程 广 持 ， 有 什么 经 答 可 以 分 至 吗 ? 
Sujay: 这 很 难 ， 但 我 们 证 明了 其 可 行 性 。 我 的 主要 经 验 有 以 下 两 


n 
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作 得 很 好 。 作 为 一 个 全 球 分 布 的 团队 ， 我 们 克服 了 很 多 困难 ,但 也 走 
过 要 路 。 有 一 个 良好 的 工作 模式 ， 能 够 让 不 同时 区 的 团队 民 好 合作 非 
常 关键 。 还 有 ， 要 仔细 挑选 你 的 项 目 和 团队 。 你 需要 对 开发 的 产品 充 
满 激 情 的 人 和 非常 善于 合作 的 人 。 

众 包 测试 是 男 一 个 对 我 们 很 有 用 的 方式 。 我 们 利用 了 印度 测试 社 
区 里 庞大 的 人 才 池 ， 也 利用 了 众 包 模式 中 资源 的 时 区 差异 ， 这 些 都 很 
Bre 

最 重要 的 是 要 雇佣 优秀 的 人 才 ， 让 他 们 为 关键 的 项 目 工作 。 
Google 并 不 是 在 追逐 低 成 本 ， 因 为 还 有 比 印 度 更 便宜 的 国家 。 我 们 雇 
佣 了 高 质量 的 人 才 ， 让 他 们 在 Google 能 获得 非常 好 的 机 会 。 我 们 对 
Google 做 出 了 相当 大 的 贡献 ， 而 我 们 的 TE 和 SET 都 拥有 光明 的 职业 前 
景 。 我 们 都 能 够 成 功 。 


4.11 工程 经 理 Brad Green 访 谈 


OWN SEES EN] "Brad Green 在 Google 做 过 很 多 产品 的 测试 经 理 ， 包 括 
Gmail ` Google Docs 和 Google+。 他 现在 是 Google Feedback 的 开发 经 
理 ， 并 在 一 个 名 为 Angular 的 项 目 中 尝试 Web 开 发 框架 。 在 工作 中 他 是 
被 公认 的 有 伟大 想法 的 人 ， 而 且 他 不 罕 鞋 ! 

HGTS: 你 拥有 在 苹 采 公司 的 开发 背景 ,什么 促使 你 来 到 
Google， 并 转 做 工程 生产 力 方 向 呢 ? 

Brad: 我 是 被 Linus Upson 介 绍 加 入 的 。 他 曾 和 我 在 NeXT 公 司 共 
事 ， 他 当时 融 对 Google 很 感 兴趣 。 在 我 长 达 六 个 月 的 面试 过 程 中 ， 是 
Patrick Copland 说 服 我 最 终 加 入 工程 生产 力 部 门 。 这 对 我 来 说 是 件 好 
事 ， 我 在 这 个 职位 上 学 到 了 很 多 东西 。 现 在 我 重新 做 回 了 开发 经 理 ， 
我 能 够 做 得 更 好 。 也 许 每 个 开发 人 员 都 应 该 在 测试 的 职位 上 走 一 遭 ! 

HGTS: 你 加 入 Google 之 后 ， 在 测试 文化 中 什么 是 最 令 你 感到 意 
外 的 ? 

Brad: 那 还 是 2007 年 ，Patrick 在 前 言 里 提 到 的 转型 还 没有 真正 
完成 。 令 我 意外 的 是 这 里 已 经 有 了 相当 多 关于 怎么 做 测试 的 积累 。 
当 我 接触 一 个 新 团队 的 时 候 ， 总 能 有 一 些 测 试 专家 令 我 吃惊 。 但 是 当 
时 的 问题 是 这 些 专业 积累 的 分 布 极度 不 均 。 这 跟 爱 斯 基 摩 人 有 数 百 种 
词汇 表达 “要 ”一 样 〈 注 : 其 实 并 不 准确 ， 
http://en.wikipedia.org/wiki/Eskimo_words_for_snow) ， 在 Google 也 有 
数 不 清 的 测试 术语 。 我 感 沉 每 当 我 学 习 为 一 个 团队 的 经 验 时 ， 必 须 学 
习 一 套 新 的 测试 术语 。 有 些 团 队 使 用 很 严格 的 术语 ， 有 些 则 不 是 。 很 
明显 我 们 需要 改变 。 

HGTS: 目 从 你 加 入 Google 以 来 ， 关 于 测试 的 改变 最 大 的 是 什 
A? 

Brad: 有 两 个 。 第 一 ， 开 发 人 员 更 多 地 介入 测试 过 程 ， 并 编写 日 
动 化 测试 。 他 们 了 解 单元 测试 、API 测试 、 集 成 测试 和 系统 测试 。 如 
果 在 持续 构建 版 本 中 发 现 遗 漏 的 问题 ， 他 们 会 本 能 地 创建 更 多 的 测 


试 。 绝 大 多 数 情况 下 ， 你 根本 不 需要 提醒 他 们 ! POR Ee 
码 在 提交 时 丈 拥 有 很 高 的 质量 ， 也 使 得 产品 发 布 能 够 更 快 。 第 二 ， 我 
们 能 够 吸引 数 百 名 一 流 工 程 师 加 入 测试 岗位 。 我 认为 这 两 点 是 相关 
的 。 这 是 一 种 文化 ， 测 试 很 有 价值 而 做 测试 也 能 够 使 你 获得 认可 。 

HGTS: 我 们 谈 谈 在 Google 做 经 理 的 经 历 吧 。 在 Google 作为 一 
名 经 理 ， 最 难 、 最 简单 和 最 有 意思 的 方面 分 别 都 是 哪些 ? 

Brad: Google 聘 用 的 都 是 有 极端 目 我 驱动 力 的 家 伙 。“ 按 我 说 的 
做 ”可 能 奏效 一 次 ， 但 要 是 用 多 了 ， 这 群 聪明 的 家 伙 就 会 不 理 你 而 去 做 
那些 他 们 觉得 最 该 做 的 事情 。 我 的 成 功 经 验 就 是 要 让 他 们 能 够 做 他 们 
最 想 做 的 事情 ， 为 他 们 创造 条 件 ， 提 供 建议 ， 进 行 指 寻 。 我 觉得 如 采 
我 直接 下 命令 ， 丈 会 让 他 们 形 失 上 自己 做 出 正确 决断 的 能 力 。 我 的 职称 
虽然 是 经 理 ， 但 是 我 尽量 少 做 管理 上 的 事情 。 这 其 实 是 一 个 引领 者 的 
角色 ， 需 要 能 够 带领 一 群 极其 聪明 、 极 具 激 情 的 工程 师 。 经 理 们 都 清 
楚 这 一 点 。 

HGTS: 你 的 团队 做 了 很 多 天 于 开发 和 测试 度量 方面 的 工作 。 什 
么 指标 是 有 效 的 ? 你 们 跟踪 了 什么 数据 ? 这 些 数据 是 如 何 影 响 质 量 
的 ? 

Brad: 说 实话 ， 我 们 做 了 很 多 东西 ， 但 取得 的 进展 很 有 限 。 在 这 
个 领域 我 已 经 失败 了 四 年 ， 所 以 我 觉得 我 学 了 很 多 东西 ! 我 说 失败 ， 
是 因为 我 们 倾注 了 大 量 的 精力 来 寻找 衡量 代码 和 测试 质量 的 指标 ， 让 
团队 可 以 用 作 权 威 的 指导 。 但 是 指标 很 难 被 通用 化 ， 因 为 相关 环境 的 
影响 非常 重要 。 是 的 ， 测 试 越 多 越 好 ， 但 如 果 它 们 非常 慢 或 者 并 不 可 
靠 的 时 候 束 是 例外 。 是 的 ， 小 型 测试 要 比 大 型 测试 好 ， 但 如 果 你 真 的 
需要 系统 测试 来 验证 所 有 部 分 都 正确 天 联 的 时 候 就 是 例外 。 一 些 度量 
指标 很 有 用 ,但 是 测试 的 实现 千差万别 ， 跟 应 用 程序 本 号 的 代码 一 
样 ， 更 像 一 种 艺术 形态 。 我 发 现 测 试 中 关于 沟通 交流 的 方面 要 比 科 学 
技术 的 方面 要 难得 多 。 所 有 人 都 知道 要 有 好 的 测试 ， 但 我 们 中 大 部 分 


人 又 很 难 让 我 们 的 团队 真 的 来 编写 这 些 测 试 。 我 所 知道 的 最 好 的 工具 
束 是 苋 争 。 你 想 要 更 多 的 小 型 测试 ? 把 目 己 的 团队 和 其 他 团队 比较 。 
瞧 瞧 他 们 团队 ;， 他 们 有 84% 的 单元 测试 覆盖 率 而 且 他 们 的 整个 测试 集 
5 分 钟 就 能 执行 完 ! 我 们 可 不 能 被 他 们 打败 了 ! 虽然 需要 监控 各 种 指 
标 ， 但 是 首先 要 信任 你 的 团队 。 当 然 ， 你 还 必须 保持 谨慎 的 态度 ， 毕 
葛 无 论 你 之 前 完成 了 多 少 测 试 ， 你 还 是 要 发 布 给 最 终 用 户 ， 而 最 终 用 
户 的 环境 里 有 很 多 东西 是 你 没 法 预测 或 复 现 的 。 

HGTS: 这 就 是 为 什么 你 要 去 做 Google Feedback 的 原因 ! 你 能 给 
我 们 讲 讲 Google Feedback 的 目的 吗 ? 它 要 解决 什么 问题 ? 

Brad: Feedback 允许 最 终 用 户 报告 他 们 正在 使 用 的 Google 产品 
中 的 问题 。 你 可 能 会 说 ， 这 个 人 简单。 不 就 是 在 页 面 上 放 个 表单 ， 让 用 
户 填 些 信息 然后 提交 么 ? 其 实 ， 很 多 团队 都 尝试 过 这 种 方法 ， 最 后 发 
现 他 们 根本 处 理 不 了 大 量 的 用 户 反 馈 报 告 一 一 很 多 情况 下 ， 每 天 有 数 
千 件 之 多 。 他 们 还 发 现 很 难 跟踪 分析 这 些 问 题 ， 因 为 用 户 提 交 的 信息 
通常 不 全 ， 有 时 甚至 还 是 错 的 。 这 些 都 是 Feedback 要 解决 的 问题 。 

HGTS: Google Feedback 是 怎么 做 的 呢 ? 

Brad: Feedback 一 开始 会 从 用 户 那 里 收集 它 可 能 收集 到 的 所 有 东 
西 ， 并 且 要 保护 他 们 的 隐私 信息 。 浏 览 硕 、 操 作 系 统 、 插 件 及 其 他 环 
境 信息 都 是 很 容易 获得 的 信息 ， 而 且 对 于 跟踪 解决 问题 来 说 至 头 重 
要 。 真 正 麻 烦 的 问题 是 获取 用 户 屏幕 的 快照 。 由 于 安全 性 的 原因 ， 浏 
哆 器 本 刁 不 能 截取 它 正在 显示 内 容 的 快照 。 我 们 用 一 种 安全 的 方式 用 
JavaScript 重新 实现 了 浏 贤 器 的 展现 引擎 。 我 们 截取 屏幕 快照 ， 然 后 请 
用 户 在 页 面 中 把 他 们 发 现 问 题 的 区 域 选择 出 来 突出 显示 ， 我 们 还 要 求 
用 户 用 文字 描述 发 现 的 问题 。 训 练 最终 用 户 提交 优质 的 bug 报 告 是 不 现 
实 的 ， 而 多 次 反复 以 后 ， 这 些 屏幕 快照 会 使 一 些 模糊 的 问题 描述 变 得 
清晰 。 


HGTS: 但 是 有 那么 多 用 户 ， 你 们 会 不 会 对 同一 个 问题 一 次 又 一 
次 的 收 到 重复 的 问题 报告 ? 这 好 像 是 一 个 数据 规模 的 问题 。 

Brad: 为 了 解决 数据 量 的 问题 ， 我 们 会 做 上 自动 聚 类 ， 把 相似 的 报 
告 分 组 。 如 果 数 千 用 户 都 报告 了 同一 个 问题 ， 我 们 把 它 放 进 同一 个 桶 
中 。 人 工 发 现 这 数 干 个 问题 并 把 它们 分 组 是 非常 困难 的 。 之 后 ， 我 们 
根据 报告 的 数据 量 对 这 些 问题 组 进行 排序 ， 找 到 对 用 户 影 响 最 大 的 问 
题 。 这 样 就 能 知道 我 们 最 迫切 需要 解决 的 是 什么 问题 。 

HGTS: Google Feedback 团 队 有 多 少 人 ? 

Brad: 这 个 团队 有 12 名 开发 人 员 和 3 名 项 目 经 理 。Feedback 团 队 中 
项 目 经 理 的 数量 比 一 般 Google 团 队 都 要 多 ， 但 为 了 要 完成 很 多 跨 产 品 
的 横向 合作 ， 这 还 是 必要 的 。 

HGTS: 发 布 Google Feedback 的 过 程 中 遇 到 的 最 大 挑战 是 什么 ? 
技术 上 的 或 是 其 他 的 ? 

Brad: 技术 方面 来 说 ， 创 建 快 照 绝对 是 最 大 的 挑战 。 很 多 人 都 觉 
得 我 们 试图 这 么 做 简直 是 狗 了 。 现 在 这 个 功能 运行 的 出 奇 的 好 。 和 上 自 动 
问题 聚 类 也 是 一 个 挑战 ， 而 且 到 现在 也 还 没有 完全 解决 。 我 们 在 处 理 
不 同 语言 的 问题 报告 方面 做 得 相当 不 错 ， 但 也 有 很 长 的 路 要 走 。 

HGTS: Google Feedback 的 未 来 会 怎么 发 展 ? 将 来 有 机 会 为 非 
Google 的 站 点 开放 使 用 吗 ? 

Brad: 我 们 的 目标 是 给 我 们 的 最 终 用 户 提 供 一 种 方式 与 我 们 对 
话 ， 交 流 他 们 在 我 们 的 产品 中 发 现 的 问题 。 目 前 ， 这 种 交流 还 是 单 回 
的 。 我 认为 将 来 我 们 要 做 的 是 完成 这 个 对 话 回路 。 我 们 目前 还 没有 问 
外 部 产品 开放 的 计划 ， 不 过 我 觉得 这 也 是 一 个 好 主意 。 

HGTS: 概括 来 说 ， 你 觉得 软件 测试 领域 的 下 一 次 飞跃 会 是 什 
se 

Brad: 我 希望 看 到 测试 能 在 开发 环境 中 成 为 “一 等 公民 ”， 而 不 是 
留 到 以 后 才 考 虚 的 问题 。 要 是 各 种 编程 语言 、 库 、 框 架 和 工具 等 都 “ 清 


楚 ” 你 开发 的 功能 代码 必须 要 进行 测试 ， 并 且 能 帮助 你 编写 这 些 测 试 ， 
那 肯 定 很 梭 。 因 为 现在 的 情况 是 ， 我 们 必须 绪 合 不 同 的 测试 框架 ， 测 
斌 代码 很 难 编写 ， 很 难 维护 ， 运 行 也 很 不 稳定 。 我 想 如 采 我 们 能 把 “ 测 
试 * 放 到 最 压 层 米 完 成 ， 一 定 能 获得 很 多 益处 。 

HGTS: 你 有 没有 关于 James Whittaker 博 士 的 爆料 可 以 让 大 家 知道 
的 ? 

Brad: 除了 那 次 他 在 Little Bo Peep 发 生 的 小 意外 之 外 ， 还 是 让 那 
些 在 我 们 管理 层 内 部 发 生 的 事 儿 只 在 有 限 的 范围 内 流传 吧 ! 


4.12 James Whittaker 访 谈 


在 James 的 办 公 室 里 我 们 调转 昌 子 对 他 本 人 进行 了 采访 。James 在 
巨大 的 锣鼓 声 中 加 入 了 Google 并 成 为 极 受 认可 的 测试 名 人 。 他 的 文章 
主 字 了 我 们 的 测试 博客 ， 他 在 GTAC 上 的 出 现 吸 引 了 大 批 的 人 群 ， 他 
为 Google 计 来 了 专业 性 的 指导 和 巡回 演讲 。 他 强大 的 个 人 魅力 在 西 雅 
图 和 科 特 兰 办 公 室 ， 甚 至 整个 公司 几乎 无 人 能 出 其 右 ， 如 果 说 除了 谁 
的 话 ， 那 人 也 只 能 是 Patrick Copeland T 。Pat 是 老板 ， 但 是 要 说 谁 是 
Google 在 测试 领域 的 精神 领袖 ， 那 人 束 是 James 。 

HGTS: 你 在 2009 年 离开 微软 加 入 了 Google， 当 年 你 在 微软 的 博 
客 上 宣布 这 一 决定 却 没有 指明 你 要 加 入 的 公司 名 称 。 你 能 讲 讲 为 什么 
吗 ? 是 为 了 制造 神秘 感 吗 ? 

James: 上 来 束 给 我 出 难题 啊 ? 同志 们 ! 讲 好 了 只 问 简单 问题 
HY! 

HGTS: 你 答应 有 问 必 答 的 ， 所 以 回答 问题 吧 | 


James: 好 吧 ， 我 主要 想 通 过 MSDN 上 的 博客 及 时 间 人 们 通告 我 
将 离开 的 消息 。 在 从 微软 公司 离职 这 件 事 上 ， 我 有 点 儿 信 心 不 足 ， 当 
时 大 家 还 都 不 怎么 上 Twitter， 所 以 我 决定 在 最 大 众 化 的 论坛 上 广 而 告 
之 。 我 想 把 这 个 消息 能 一 次 性 地 告诉 尽 可 能 多 的 人 ， 而 不 必 参 加 一 连 
串 的 那 种 面对面 的 “我 要 离职 了 ”的 会 议 。 事 实 上 ， 当 时 很 多 的 微软 同 
事 都 阅读 我 的 博客 ， 而 不 是 看 我 的 邮件 ! 所 以 在 当时 那 古 发 出 这 个 消 
妃 的 最 佳 方案 。 人 们 得 知 我 要 离开 以 后 伦 了 很 大 力气 劝 我 留 下 来 。 要 
决定 离开 一 家 你 乐于 为 其 工作 的 公司 ， 离 开 共 事 多 年 的 朋友 并 不 容 
易 。 我 喜欢 微软 也 非常 查 重 在 那里 工作 的 工程 师 ， 从 那里 离开 对 我 来 
说 挺 艰难 ， 但 我 也 不 想 再 质疑 自己 的 决定 。 说 实话 ， 如 果 再 让 更 多 的 
人 有 机 会 来 游说 我 ， 我 真有 可 能 束 动 播 了 。 我 真 的 很 想到 Google 来 工 
作 ， 所 以 ， 我 不 能 给 他 们 阻止 我 的 机 会 。 

HGTS: 为 什么 呢 ? Google 哪 些 地 方 吸 引 了 你 ? 

James: 其 实说 来 挺 神奇 的 。 时 年 间 我 曾 做 过 大 学 教授 ， 还 开创 
了 上 自己 的 公司 ， 我 做 过 除了 为 大 公司 工作 以 外 的 所 有 的 事 。 当 我 谎 起 
勇气 为 大 公司 工作 的 时 候 ， 我 决定 找 一 间 真 正大 的 大 公司 ， 越 大 越 
好 ， 我 的 工作 能 有 影响 到 的 用 户 越 多 越 好 。 我 想 让 自己 在 工业 界 的 事业 
获得 成 功 ， 那 为 什么 不 选择 顶尖 的 公司 呢 ? 这 正 是 多 年 以 前 微软 吸引 
我 的 地 方 ， 也 是 后 来 Google 吸 引 我 的 地 方 。 我 要 去 大 公司 。 我 还 要 在 
世界 上 最 好 的 大 公司 工作 。 不 过 真正 打动 我 的 是 Google 逐渐 成 为 最 棒 
的 软件 测试 公司 。 长 时 间 以 来 一 直 是 微软 占据 着 这 个 位 置 ， 我 认为 是 
Patrick Copeland 从 微软 那里 他 走 了 这 一 头衔 。Google 看 起 来 是 对 一 个 
测试 者 来 说 最 棒 的 地 方 。 最 后 是 我 参加 的 那些 面试 帮 有 我 做 了 来 Google 
工作 的 决定 。Patrick Copeland ` Alberto Savoia ^ Brad Green ` Shelton 
Mar ^ Mark Striebeck (还 有 好 多 其 他 人 ) 都 面试 过 我 ， 那 些 谈话 简直 
棱 极 了 。 我 和 Alberto 在 我 的 “面试 ”过 程 中 把 整个 昌 板 都 写 满 了 。 他 后 
来 甚至 回忆 说 当时 竟然 筷 了 问 我 任何 问题 。 


Shelton 和 我 在 很 多 问题 上 看 法 不 一 致 ， 不 过 他 对 我 的 观点 态度 很 
开放 。 虽 然 观点 存在 分 歧 ， 但 也 令 我 印象 深刻 。 与 当时 面试 的 时 候 相 
比 ， 我 们 现在 达成 一 致 的 观点 多 了 很 多 ! Brad 呢 ， 他 特别 酪 。 我 是 说 
他 在 面试 的 时 候 竟 然 没 穿 鞋 《当时 是 二 月 份 ) ， 而 他 的 看 法 也 有 点 儿 
属于 那 种 不 穿 鞋 的 类 型 。Mark 几乎 把 全 部 的 面试 时 间 都 用 来 说 服 我 加 
N Google 工作 。 在 这 些 面试 中 ， 各 种 思想 的 火花 激 沪 磁 撞 ， 沪 气 回 
肠 ， 民 如 隔世 。 面 试 完成 之 后 ， 我 都 素 极 了 。 我 回想 那 时 钼 进出 租车 
里 想 目 己 找到 了 一 家 最 好 的 公司 ， 又 有 点 儿 担 心目 己 是 否 能 有 足够 的 
能 量 到 这 里 工作 。 我 的 确 担 心 自 己 是 不 是 能 作出 贡献 ， 这 太 有 挑战 
了 ， 超 出 了 我 习惯 的 舒适 地 市 。 不 过 我 喜欢 接受 挑战 ， 而 且 我 相信 成 
功 绝 不 会 来 得 那么 容易 。 毕 葛 ， 又 有 谁 只 满足 于 那些 轻松 的 工作 呢 ? 

HGTS: 那 Google 有 没有 党 负 你 的 这 份 期 望 ? 

James: I, 是 呀 ， 这 可 真 不 是 一 份 轻松 的 工作 ! 不 过 我 估计 你 
是 指 激情 的 部 分 。 我 实话 实说 ， 在 微软 也 有 大 量 优秀 的 测试 人 员 和 对 
测试 的 热情 。Google 的 不 同 在 于 这 种 激情 更 容易 被 传播 。Alberto 和 我 
从 来 没有 在 同一 个 团队 共 过 事 ， 但 是 我 们 可 以 通过 那 20% 的 目 由 时 间 
在 一 起 工作 。Brad 和 我 在 IDE 和 诸如 自动 报告 bug (Brad 通 过 Google 
Feedback 而 我 通过 BITE) 方面 都 还 有 合作 。Google 很 懂得 为 这 种 合作 
提供 空间 ， 并 使 它 作为 日 常 工 作 的 一 部 分 被 认可 。 

HGTS: 我 们 在 科 特 兰 和 你 一 起 工作 过 ， 我 们 见识 了 团队 士气 上 
的 巨大 变化 ， 整 个 团队 能 高 效 地 完成 工作 。 你 有 什么 秘诀 ? 

James: 我 承认 我 如 入 以 后 科 特 兰 确实 提高 了 不 少 ， 不 过 我 不 想 
沾沾自喜 ， 止 步 不 前 。 变 化 一 定 程度 上 来 自 于 足够 大 的 团队 。 我 的 到 
来 引发 了 一 波 巨 大 的 入 职 潮 ， 很 多 非常 有 才华 的 人 也 加 入 了 Google。 
开始 的 几 个 月 里 ， 我 们 的 测试 团队 增长 超过 了 四 倍 。 我 可 以 组 建 更 大 
的 团队 ， 主 不 同 产品 线 上 的 团队 在 类 似 的 事情 上 进行 合作 。 与 原来 紧 
跟 开 发 的 孤立 测试 团队 不 同 ， 我 们 有 了 很 多 测试 团队 能 够 坐 在 一 起 ， 


互补 互助 ， 共 同 提高 。 这 对 士气 和 生产 效率 都 有 巨大 的 提升 作用 。 更 
多 的 人 手 也 人 允许 我 能 够 把 像 你 们 两 位 这 样 资 深 的 人 才 从 现 有 的 项 目 中 
解放 出 来 ， 赋 予 更 富 挑 战 的 工作 。Jeff 原 来 为 Google Toolbar 编 写 预 提 
交 的 代码 。 哩 ， 这 多 浪费 你 的 才华 啊 ! Jason， 你 原来 在 测试 Google 
Desktop。 我 告诉 你 们 作 一 个 优秀 经 理 的 秘诀 就 是 能 让 人 发 挥 所 长 ， 做 
到 这 点 你 的 工作 区 差不多 完成 了 。 下 属 会 更 开心 ， 项 目 也 做 的 更 好 。 
但 我 们 需要 更 多 人 手 才 能 走 到 这 一 步 。 

充足 的 人 手 还 可 以 让 我 们 有 足够 的 空间 ， 目 由 文 配 20% 的 时 间 来 
做 一 些 探索 性 的 工作 。 我 可 以 启动 一 些 更 具 风 险 的 实验 性 项 目 。 我 们 
开始 做 一 些 不 受 软件 发 布 压力 制约 的 工具 项 目 ， 这 些 项 目 更 多 地 源 目 
于 我 们 的 热情 。 我 发 现 没 有 比 开发 工具 更 能 激发 测试 人 员 的 创造 性 和 
提升 测试 团队 士气 了 。 坦 日 说 ， 我 觉得 这 才 是 测试 工作 最 令 人 满意 的 
部 分 。 也 许 我 从 内 心里 更 倾 问 于 自己 是 个 工具 开发 者 而 不 是 测试 者 。 

HGTS: 对 于 Google 的 组 织 结构 最 令 你 满意 的 地 方 是 什么 ? 

James: 这 个 问题 容易 回答 ! 实际 上 我 会 问 那 些 候选 人 这 样 推销 
Google: 测试 人 员 加 测试 人 员 汇 报 ， 测 试 人 员 目 己 决定 上 自己 的 发 展 。 
这 残 是 我 对 Google 最 满意 的 两 件 事 。 测 试 人 员 不 再 附属 于 任何 人 。 测 
试 有 上 自己 的 招聘 委员 会 ， 上 自己 的 评估 委员 会 ， 目 己 的 普 升 委员 会 。 这 
感 沉 就 像 联 合 国 承认 测试 作为 一 个 独立 国家 一 样 ! 我 们 的 文化 里 没有 
任何 从 属 的 部 分 。 如 果 还 要 找 出 别 的 原因 ， 就 是 测试 角色 的 稀缺 性 。 
开发 团队 必须 通过 切 届 努力 提高 质量 才能 说 得 测试 的 人 力 支 持 。 测 试 
人 员 必 须 非常 聪明 。 我 们 的 资源 很 紧张 ， 所 以 必须 特别 善于 安排 优先 
ID, DMEGET ASIII A, DORSET MAA ATA IRE!) © BGR TE 2 
的 是 资源 优化 。Pat 做 了 很 多 正确 的 事 ， 但 是 我 认为 ， 资 源 稀缺 这 一 点 
促成 了 很 多 文化 上 的 变化 。 

HGTS: 微软 没有 集中 的 测试 组 织 结构 ， 你 花 了 多 长 时 间 来 适应 
Google 的 这 种 文化 ? 


James: 我 刚 来 的 时 候 Pat Copeland 给 了 我 两 条 建议 。 第 一条， 是 
完 花 一 些 时 间 来 观察 学 习 。 这 点 很 重要 。 在 大 公司 要 多 人 花 一 些 时 间 学 
习 ， 在 微软 高 效 工 作 和 在 Google 高 效 工作 所 需 的 技能 是 不 同 的 。 开 始 
的 几 个 月 我 按照 Pat 所 建议 的 一 一 聆听 而 不 是 直接 发 言 ， 询 问 而 不 是 
直接 尝试 ， 诸 如 此 类 。 我 非常 接受 他 的 这 条 建议 ， 实 际 上 我 甚至 还 多 
延续 了 几 个 星期 ! 

HGTS: 你 刚才 说 是 两 条 建议 .….…. 

James: IR, 是 啊 ， 对 不 起 ， 我 糊涂 了 。 有 时 候 Pat 会 说 些 窒 六 的 
话 ， 我 刚才 私吞 了 一 条 ! 他 的 第 二 条 建议 ， 我 当时 并 不 喜欢 ， 不 过 后 
来 证 明 这 条 建议 比 前 面 那 条 更 棒 。 他 当时 把 我 拉 到 一 边 ， 然 后 说 ,“ 兄 
第 ， 我 知道 你 在 来 Google 之 前 已 富 盛名 ， 但 是 在 这 个 公司 里 ， 你 还 什 
A BOL tS AL RYE o "Pat SRS; 你 不 必 费 尽心 思 从 他 那里 体 
会 什么 不 便 言 明 的 深意 。 他 的 话 通 常 都 直接 了 当 ， 这 次 他 想 说 的 束 是 
Google 并 不 会 关心 我 以 前 做 了 什么 。 我 必须 在 Google 内 部 获得 成 功 ， 
否则 其 他 事情 都 免 谈 。 在 Google 想 要 成 功 不 能 只 是 到 处 晃 晃 。 他 建议 
我 选择 发 布 一 些 重大 的 产品 ， 可 能 的 话 ， 做 出 些 与 众 不 同 的 东西 来 。 
我 选择 了 Chrome 和 Chrome OS， 按 他 说 的 完成 了 。 我 是 Chrome OSH) 
第 一 任 测试 经 理 ， 然 后 当 它 发 布 以 后 ， 我 把 这 个 位 置 交 给 了 我 的 一 位 
下 属 。Pat 是 对 的 ， 当 你 真正 完成 了 一 些 重大 的 事情 以 后 ， 其 他 事情 也 
瓯 容易 了 。 我 之 前 的 经 历 让 我 能 够 加 入 这 里 ， 但 在 Google 内 部 获取 成 
功 是 非常 关键 的 事情 。 正 是 由 于 我 做 到 了 这 一 点 ， 为 人 们 关心 的 产品 
作出 了 贡献 ， 才 获得 了 人 们 的 查 重 。 如 果 我 再 换 工 作 的 话 ， 还 会 使 用 
这 样 的 公式 : 先 虚 心 学 习 ， 再 在 一 线 作出 成 绩 ， 然 后 开始 寻求 创新 的 
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HGTS: 除了 产品 测试 ，Pat 还 要 求 你 关注 哪些 方面 ? 

James: 是 的 ， 他 让 我 管理 测试 工程 师 (TE) 的 规范 化 。 测 试 开 
发 工程 师 (SET) 角色 已 经 存在 很 入 了 ， 大 家 都 很 清楚 这 个 职位 的 职 


业 成 长 阶梯 ， 我 们 非常 了 解 对 SET 的 期 望 以 及 如 何 对 其 进行 业绩 评估 
和 普 升 。 不 过 这 点 对 TE 来 说 ， 我 们 还 处 于 探索 的 过 程 中 。Pat 希 望 我 的 
到 来 能 让 测试 工程 师 这 个 角色 重 获 天 注 。 他 其 实 早 就 想 好 了 让 我 做 这 
件 事 。 我 猜想 他 觉得 平衡 的 天 杯 已 经 癌 SET 的 角色 倾斜 太 多 了 ， 和 需要 
让 TE 的 角色 重 获 新 生 。 告 诉 你 们 ， 他 从 来 没 告诉 过 我 这 些 ， 这 只 是 我 
目 己 的 感觉 。 

HGTS: 那 你 怎么 处 理 测试 工程 师 和 角色 的 问题 的 ? 

James: Pat 和 我 启动 了 一 个 测试 工程 师 的 工作 组 ， 这 个 组 织 现 在 
仍然 存在 。 我 们 每 两 周 见 一 次 面 ， 开 始 是 两 个 小 时 ， 后 来 减少 到 每 月 
一 小 时 。Pat 参 加 了 几 次 ， 然 后 束 交 给 我 来 运作 了 。 这 个 工作 组 由 大 约 
12 名 测试 工程 师 组 成 ， 他 们 全 都 是 Pat 亲 目 挑 选 的 。 我 以 前 也 都 不 认识 
他 们 。 第 一 次 会 议 上 ， 我 们 列 了 两 个 列表 : 分 别 列 出 测试 工程 师 这 个 
角色 令 人 兴 否 和 感觉 不 诡 的 地 方 。 光 列 出 这 两 个 列表 的 时 候 就 有 一 海 
千里 的 感觉 ， 大 家 认同 的 好 的 方面 和 抱怨 的 坏 得 方面 基本 都 一 样 。 我 
很 惊讶 大 家 能 当 着 Pat 的 面 还 毫 无 顾忌 ， 没 人 试图 粉 师 任何 事情 。 我 
在 职业 生涯 里 见 过 太 多 的 会 议 ， 人 们 都 等 着 屋子 里 最 重要 的 那个 人 发 
言 ， 之 后 再 跟着 他 讲 。 在 Google 根 本 不 会 这 样 ， 没 人 在 意 Pat 是 怎么 想 
的 ， 因 为 这 个 会 议 是 关于 他 们 目 己 的 。 如 果 Pat 不 能 接受 这 一 点 ， 那 也 
是 Pat 目 己 的 问题 。 这 真是 与 众 不 同 。 这 个 工作 组 做 了 大 量 的 工作 来 定 
义 测 试 工程 师 这 个 职位 ， 重 塑 了 测试 工程 师 的 职业 发 展 阶 梯 。 测 试 工 
程 师 的 普 升 ， 都 会 由 整个 测试 工程 师 团 队 开放 式 投 票 完成 ， 这 种 方式 
是 得 到 认可 的 。 这 项 工作 非常 酷 ， 我 带领 整个 工作 组 来 庆祝 。 这 完全 
是 一 次 草根 的 胜利 。 我 们 还 制定 了 一 些 面 试 原则 ， 帮 助 测试 开发 工程 
师 和 软件 开发 工程 师 学 习 如 何 面试 到 合适 的 测试 人 员 。 我 觉得 现在 可 
以 说 测试 工程 师 已 经 和 测试 开发 工程 师 的 角色 具有 同样 清晰 的 定义 
了 o 


HGTS: (KAA EGooge KERF HELA le] f, BB 2A SK Did — 
下 Google 的 秘诀 吗 ? 我 们 在 测试 方面 都 有 哪些 “秘方 2? 

James: 那 就 是 测试 人 员 所 拥有 的 技术 能 力 (包括 计算 机 科学 的 
专业 文 任 } 、 测 试 资源 的 稀缺 从 而 获得 开发 人 员 帮 助 和 不 断 进行 测试 
优化 、 优 先 考虑 上 自动 化 (这样 才 能 让 人 去 做 那些 计算 机 做 不 好 的 事 
f) ， 以 及 快速 迭代 、 集 成 和 获得 用 户 反 馈 的 能 力 。 其 他 公司 要 想 效 
仿 Google 的 做 法 ， 应 该 从 这 四 个 方面 做 起 : 技能 、 稀 缺 性 、 上 自动 化 和 
友 代 集成 。 这 束 是 Google 测 试 的 “秘方 >， 照 方 抓 药 吧 ! 

HGTS: 你 还 有 要 打算 写 的 书 吗 ? 再 来 一 本 测试 方面 的 书 怎么 
样 ? 

James: 我 不 知道 。 我 的 书 都 不 是 事先 计划 好 的 。 我 的 第 一 本 
书 ， 源 自 于 我 在 佛罗里达 理工 学 院 教 授 软 件 测试 的 课程 教案 。 我 原来 
并 没有 计划 把 它 出 版 成 书 ， 但 后 来 我 在 STAR 演 讲 的 时 候 ， 有 位 女士 问 
我 是 不 是 有 意 把 它 做 成 书 。 她 是 一 位 出 版 商 ， 这 区 是 《How to Break 
Software》 的 由 来 。 我 独立 编写 了 那 本 书 的 每 个 字句 ， 那 可 真是 件 累 
人 的 工作 。 我 的 后 两 本 书 都 是 有 共同 作者 的 。Hugh Thompson 写 作 了 

(How to Break Software Security》， 我 在 其 中 提供 一 些 帮 助 。Mike 
Andrews 写 作 了 《How to Break Web Software》， 我 的 角色 还 是 提供 帮 
助 。 这 两 本 书 其 实 是 他 们 的 书 。 我 作为 作者 、 思 考 者 和 管理 者 帮助 完 
成 写作 。 我 热爱 写作 ，Hugh 和 Mike 都 没有 嫉 妨 我 比 他 们 写 的 好 。 你 们 
两 位 会 吗 ? 我 想 也 不 会 。 要 不 是 因为 有 我 ， 他 们 谁 也 写 不 成 那 两 本 书 

(尽管 后 来 Hugh 又 写 了 另外 一 本 书 ， 但 我 的 说 法 还 是 成 立 的 ) 。 最 
终 ， 我 的 职业 生涯 写成 了 书 ， 而 我 身边 的 人 成 了 共同 作者 。 你 们 敢 否 
Wik — AS? 

HGTS: 咽 ， 好 吧 ， 读 者 其 实 可 以 通过 手中 的 书证 明 这 一 点 ! 我 
们 放弃 这 次 否认 的 权利 ! 


James: 我 也 不 是 完全 不 能 独立 写 一 本 书 ， 《Exploratory 
Testing》 束 是 另外 一 本 我 想 自己 完成 的 书 。 这 本 书 也 脱胎 于 我 在 会 议 
上 的 演讲 。 我 从 教材 和 资料 里 抽取 部 分 ， 积 累 起 来 ， 直 到 可 以 成 书 。 
我 不 确定 如 果 没 有 你 们 俩 的 帮助 ， 这 本 书 还 能 不 能 完成 。 不 过 这 是 一 
次 完全 真正 的 合作 ， 我 想 我 们 三 个 人 的 贡献 是 相当 的 。 

HGTS: 我 们 俩 个 人 都 很 高 兴 能 参与 其 中 。 我 们 可 能 比 你 更 能 写 
代码 ， 但 必须 承认 你 在 语言 可 读 性 上 的 造 请 ! 你 自己 最 喜欢 这 本 书 的 
FARBI? 
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为 准备 写作 的 材料 ， 它 们 都 已 经 是 现成 的 了 ， 我 们 需要 做 的 就 是 把 它 
们 记录 下 来 。 如 果 一 定 要 挑 一 个 特别 喜欢 的 部 分 的 话 ， 我 会 选 其 中 的 
访谈 部 分 。 采 访 那 些 人 并 记录 下 来 很 有 趣 。 我 希望 自己 刚 来 Google 的 
时 候 就 能 进行 这 些 采 访 。Huang Dang 的 访谈 特别 值得 一 提 。 他 带 我 参 
观 了 Android 实 验 室 ， 然 后 针对 测试 哲学 和 我 争论 起 来 ， 整 个 访谈 都 很 
紧张 。 我 理 笔 疾 书 地 记录 ， 从 学 校 毕 业 以 后 我 还 从 来 没有 那么 快 地 写 
过 字 。 那 是 我 和 他 在 一 起 度 过 的 最 有 价值 的 一 段 时 间 。 我 在 Google 经 
历 了 很 多 人 和 事 ， 但 直到 我 把 它们 写 下 来 之 前 ， 我 自己 都 没有 意识 
到 。 我 想 这 就 是 记者 要 做 的 事情 ， 你 必须 要 深入 了 解 你 的 采访 对 象 。 

HGTS: 如 果 你 没有 进入 测试 领域 ， 你 会 做 些 什么 ? 

James: 在 技术 领域 ， 我 会 做 开发 工具 和 开发 技术 传播 的 工作 。 
我 想 让 写 软件 变 得 更 简单 。 不 是 所 有 人 写 代 码 都 能 像 Jeff Carollo 那 么 
TE! 我 都 不 能 相信 我 们 竟然 还 在 徒手 开发 应 用 。20 世纪 80 EFR, R 
在 大 学 里 学 到 的 开发 技术 到 现在 还 在 用 。 这 太 疾 狂 了 。 整 个 技术 领域 
都 没什么 变化 ， 我 们 还 在 用 C++ 写 程序 。 

为 什么 软件 开发 一 点 儿 也 没 变 简单 ? 为 什么 那些 糟糕 的 、 不 安全 
的 代码 还 比比 色 是 ?开发 优秀 代码 应 该 比 开 发 烂 代 人 码 更 容易 才 对 。 我 
会 为 解决 这 个 问题 而 努力 。 技 术 传播 也 很 重要 。 我 喜欢 公开 演讲 ， 我 


喜欢 同 技术 人 员 谈 论 技术 话题 。 把 与 开发 人 员 交 流 当 做 正式 工作 的 想 
法 ， 比 测试 还 要 来 得 令 人 兴奋 。 要 是 有 这 样 的 工作 机 会 一 定 通 知 我 
哦 。 

HGTS: 那 如 条 不 做 技术 领域 了 呢 ? 

James: 这 个 可 比较 难 回 答 了 ， 我 还 没 考 虑 过 其 他 的 职业 呢 。 我 
对 技术 领域 还 有 用 不 完 的 热情 。 不 过 要 是 真有 选择 ， 我 想 去 讲授 管理 
学 的 课程 。 你 们 老 是 说 我 是 个 不 错 的 管理 者 ， 最 近 我 还 认真 考虑 了 一 
下 为 什么 我 做 的 还 不 赖 。 也 许 我 的 下 一 本 书 就 叫 《 怎 样 才 能 不 做 差劲 
儿 的 老板 》。 我 还 想 为 保护 环境 做 些 工作 。 我 喜欢 我 们 的 世界 ， 它 值 
得 我 们 去 爱惜 和 维护 。 

喔 ， 我 还 爱 啤 酒 。 我 太 妥 啤 洒 了。 我 都 能 想象 自己 像 电视 剧 《 干 
杯 》 里 面 的 Norm 那样 : 我 走 进 酒 吧 ， 大 家 大 喊 , "James! ”， 然 后 坐 
在 我 的 固定 吧台 那儿 的 人 会 自觉 把 座位 让 给 我 。 这 才 是 把 事 儿 干 好 了 
的 感觉 。 我 想 自 己 能 像 Norm 那 样 说 得 所 有 人 的 尊敬 。 


2553€ Google 软 件 测试 改进 


Google 的 测试 流程 可 以 非常 简练 地 概括 为 : 让 每 个 工程 师 都 注重 
质量 。 只 要 大 家 诚实 认真 地 这 么 做 ， 质 量 葡 会 提高 。 代 码 质量 从 一 开 
始 就 能 更 好 ， 早 期 构建 版 本 的 质量 会 更 高 ， 集 成 也 不 再 是 必须 的 ， 系 
统 测 试 可 以 关注 于 真正 面向 用 户 的 问题 。 所 有 的 工程 师 和 项 目 都 能 从 
堆积 如 山 的 bug 中 解脱 出 来 。 

如 宁 你 所 在 的 公司 能 对 质量 达到 这 种 层次 的 关注 ， 那 融 只 剩 下 一 
个 问题 了 一 一 下 一 步 是 什么 ? 

EX, Google 的 下 一 步 已 经 开始 在 进行 了 。 当 我 们 不 断 完 善 产 品 
开发 中 测试 角色 的 时 候 ， 我 们 其 实 也 在 流程 中 引入 了 几 个 明显 的 缺 
陶 。 本 章 束 来 讲 讲 这 些 缺 陷 ， 讨 论 一 下 为 了 解决 这 些 问题 ，Google 的 
测试 是 如 何 进 化 的 ， 抑 或 是 如 何 退 化 的 。 测 试 的 去 中 心 化 已 经 发 生 
了 ， 工 程 生 产 力 部 门 (Engineering Productivity) 已 经 被 拆 分 融入 到 各 
个 产品 团队 。 我 们 认为 这 是 达到 一 定 的 测试 成 熟 度 以 后 的 一 种 上 自然 结 
果 。 在 Google 继 续 区 分 开发 与 测试 已 经 不 是 最 好 的 选择 了 。 


5.1 Google 流 程 中 的 致命 缺陷 


测试 通常 被 看 做 和 是 质 量 的 代名词 ， 如 果 你 问 一 位 开发 人 员 做 了 哪 
些 与 质量 相关 的 事 ， 他 的 回答 往往 是 “测试 *。 可 是 测试 并 不 能 保证 质 


量 。 质 量 是 内 建 的 ， 而 不 是 外 加 的 。 因 此 ， 保 证 质量 是 开发 者 的 任 
务 ， 这 一 点 毋庸 置疑 。 这 束 市 来 了 第 一 个 致命 的 缺陷 : 测试 成 了 开发 
的 扬 杖 。 我 们 越 不 让 开发 考虑 测试 的 问题 ， 把 测试 变 得 越 简单 ， 开 发 
残 越 来 越 不 会 去 做 测试 。 

在 实际 生活 中 有 一 个 类 似 的 例子 : 我 们 坐 在 舒适 的 沙发 里 看 电视 
的 时 候 ， 有 人 来 为 我 们 修剪 草坪 。 而 实际 上 ， 我 们 是 可 以 自己 修剪 章 
坪 的 。 更 糟 糕 的 情况 是 ， 当 他 们 在 为 我 们 修剪 草坪 时 ， 我 们 却 坐 在 家 
里 ， 什 么 事 儿 也 没有 ! 修剪 章 坪 的 服务 让 我 们 很 轻松 ， 是 太 轻 松 了 ， 
以 至 于 想 都 不 想 束 外 包 出 去 了 。 当 测试 也 成 为 一 种 服务 ， 能 让 开发 想 
都 不 想 的 时 候 ， 那 他 们 就 会 真 的 什么 也 不 想 了 。 测 试 应 该 需要 一 点 痛 
苗 ， 需 要 开发 人 员 费 点 心思 。 某 种 程度 上 我 们 已 经 把 测试 变 得 太 轻 
松 ， 把 开发 养 得 太 懒 了 。 

测试 在 Google 作 为 一 个 独立 的 部 门 ， 让 这 个 问题 更 为 严重 。 你 证 
质量 不 但 是 别人 的 问题 ， 它 甚至 还 属于 为 一 个 部 门 。 这 就 像 我 的 草坪 
服务 ， 责 任 方 很 容易 确定 ， 出 问题 的 时 候 也 很 容易 丈 把 责任 推 鼻 给 修 
前 草坪 的 外 包公 司 。 

第 二 个 致命 缺陷 ， 还 是 与 开发 和 测试 的 组 织 结 构 分 离 有 天。 

测试 人 员 更 关注 目 己 的 角色 ， 而 不 是 他 们 的 产品 。 如 采 产 品 不 被 
关注， 那 它 瓯 好 不 了 。 毕 竟 ， 软 件 开发 的 最 终 目 的 不 是 编码 ， 不 是 测 
试 ， 不 是 文档 ， 而 是 完成 一 个 产品 。 每 一 个 工程 师 的 角色 都 是 为 总 体 
产品 服务 的 ， 而 角色 本 里 是 次 要 的 。 健 康 的 组 织 的 一 个 标志 是 ， 人 们 
会 说 “我 在 为 Chrome 工 作 ”， 而 不 是 “我 是 测试 ”。 

几 年 前 ， 我 在 一 次 测试 会 议 上 看 到 一 件 T 恤 用 和 希腊 语 和 英语 写 着 
“我 测试 ， 故 我 在 ”。 这 件 T 恤 的 制作 者 一 定 觉 它 无 比 巧妙 ， 但 我 认为 这 
不 过 是 一 种 好 斗 的 口号 ， 不 利于 整体 产品 一 一 它 过 分 强调 了 测试 角色 
的 作用 。 任 何 角色 都 不 应 被 过 分 强调 。 团 队 的 每 个 人 都 是 在 为 产品 工 
作 ， 而 不 是 为 了 开发 过 程 中 的 某 个 部 分 。 开 发 过 程 本 喘 束 是 为 产品 服 


务 的 。 除 了 做 出 更 好 的 产品 ， 流 程 的 存在 还 有 其 他 目的 吗 ? 用 户 爱 上 
的 是 产品 ， 而 不 是 开发 产品 的 流程 。 

在 Google， 开 发 与 测试 的 分 离 造成 了 基于 角色 的 关联 ， 阻 碍 了 测 
试 人 员 对 产品 的 关注 。 

第 三 个 致命 的 缺陷 ， 是 测试 人 员 往 往 崇 拜 测试 产物 (test artifact) 
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测试 的 价值 是 在 于 测试 的 动作 ， 而 不 是 测试 产物 。 

相对 于 被 测 代码 来 说 ， 测 试 工程 师 生成 的 测试 产物 都 是 次 要 的 : 
测试 用 例 是 次 要 的 ; 测试 计划 是 次 要 的 ，bug 报告 是 次 要 的 。 这 些 产 
物 都 需要 通过 测试 活动 才能 体现 价值 。 不 邓 的 是 ， 我 们 过 分 称赞 这 些 
产物 (比如 在 年 度 评 估 时 ， 统 计 测试 工程 师 提交 的 bug 数 日 )， 而 忘记 
了 被 测 的 软件 。 所 有 测试 产物 的 价值 ， 在 于 它们 对 代码 的 影响 ， 进 而 
通过 产品 来 体现 。 

独立 的 测试 团队 ， 倾 癌 于 把 重点 放 在 建设 和 维护 测试 产物 上 。 如 
果 把 测试 的 目标 定位 在 产品 的 源码 上 ， 整 个 产品 都 将 受益 。 因 此 ， 测 
试 人 员 必 须 把 产品 放 在 第 一 位 。 

最 后 一 个 致命 缺陷 也 许 是 最 深刻 的 。 产 品 经 过 最 严格 的 测试 发 布 
以 后 ， 用 户 有 多 大 可 能 仍然 发 现 测 试 中 遗漏 的 问题 ? 答案 是 ， 几乎 必 
然 发 现 。 我 们 谁 都 没 见 过 哪个 产品 能 够 避免 漏 测 问 题 所 帝 来 的 困 抗 

(无 论 在 Google 还 是 其 他 地 方 ) 。 创 作 本 书 时 ， 我 们 三 个 作者 都 在 为 
Google+ 这 个 产品 工作 。 事 实 上 ， 许 多 Google+ 中 最 好 的 bug 的 发 现 者 是 
Google 的 内 部 试用 者 (dogfooder) 那些 Google+ 团 队 以 外 试用 这 
个 产品 的 Googler。 我 们 想象 日 己 是 用 户 ， 而 内 部 试用 者 就 是 真实 的 用 
户 ! 

是 谁 在 做 测试 并 不 重要 ， 天 键 是 进行 了 测试 。 

内 部 试用 者 、 可 信赖 的 测试 者 、 众 包 测 试 者 ， 以 及 早期 用 户 都 可 
能 比 测试 工程 师 更 容易 发 现 bug。 实 际 上 ， 让 TE 做 的 测试 越 少 ， 支 持 
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有 这 么 多 问题 ， 我 们 能 做 些 什么 呢 ? 怎么 找 出 Google 测 试 中 所 有 
做 的 不 错 的 地 方 ， 并 使 其 更 加 专注 于 产品 ， 更 加 以 整个 团队 为 导向 
We? 我 们 正 进入 一 个 未 知 的 领域 ， 我 们 唯一 可 以 做 的 就 古 推测 。 但 是 
我 们 认为 ， 本 书 揭示 的 一 些 趋势 ， 为 推断 测试 在 Google 和 其 他 公司 的 
未 来 发 展 提供 了 基础 。 其 实 SET 和 TE 的 角色 本 身 ， 已 经 向 着 未 来 的 方 
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在 Google， 其 实 这 两 个 角色 正 同 着 相反 的 方 同 发 展 。SET 的 角色 
越 来 越 像 开 发 ， 而 TE 的 角色 回首 相反 的 方向 越 来 越 像 用 户 。 这 种 转变 
忠 像 成 熟 的 软件 开发 组 织 的 目 然 进 化 一 样 ， 正 在 有 机 地 进行 。 一 方 
面 ， 这 种 趋势 来 目 于 技术 音 新 ， 软 件 开发 周期 更 加 紧 凌 ， 开 发 、 测 弃 
和 用 户 可 获得 一 致 的 持续 构建 版 本 ， 其 他 相关 的 非 技 术 人 员 有 机 会 参 
与 到 软件 开发 过 程 中 。 另 一 方面 ， 也 征 由 于 质量 保证 的 观点 更 加 成 
束 ， 质 量 需要 每 一 个 人 的 贡献， 而 不 专属 于 “测试 ?工程 师 。 


5.2 SET 的 未 来 


简单 来 说 ,我们 认为 SET 没 有 末 来 。SET 束 是 开发 。 束 这 么 人 
单 。 在 Google,SET 的 薪资 与 开发 一 样 ， 以 开发 的 标准 评 信 绩 效 ， 并 且 
两 个 角色 都 被 称 作 软件 工程 师 。 如 此 众多 的 相似 点 只 能 引 辐 一 个 结 
ie: 他 们 其 实 束 是 一 个 角色 o 

这 个 角色 正 逐 步 淡 化 ， 但 其 工作 本 身 并 不 会 消失 。SET 承 担 的 工 
作 在 Google 相 当头 键 。SET 直接 负责 很 多 功能 特性 ， 如 可 测试 性 、 可 
靠 性 、 可 调试 性 ， 等 等 。 如 采 我 们 把 这 些 功能 特性 与 用 户 界面 及 其 他 
功能 模块 一 样 对 待 ， 那 么 SET 嗣 是 负 贡 这 些 功能 特性 的 开发 工程 师 。 


这 就 是 我 们 认为 SET 这 个 角色 在 Google 和 其 他 成 就 软件 公司 在 近期 
将 要 发 生 的 演变 。 除 了 把 测试 开发 与 其 他 功能 开发 同等 对 待 ， 还 有 什 
么 更 好 的 方法 能 让 它 成 为 “一 等 公民 ” 呢 ? 

这 正 是 目前 的 开发 流程 里 存在 问题 的 部 分 。 面 向 用 户 的 功能 都 被 
产品 经 理 (PM) 管理 ， 并 由 软件 开发 工程 师 编写 。 这 些 功能 的 代码 ， 
通过 一 套 良 好 定义 的 自动 化 流程 跟踪 、 管 理 和 维护 。 然 而 ， 为 什么 测 
试 代码 却 由 TE 管理 ， 由 SET 编 写 ? 这 是 测试 角色 演变 过 程 中 遗留 下 来 
的 。 但 是 这 种 演变 已 经 到 头 了 ， 是 时 候 让 测试 代码 成 为 一 等 公民 了 
一 一 测试 代码 也 由 PM 管理 ， 由 软件 工程 师 编写 。 

哪些 软件 工程 师 能 胜任 测试 开发 工程 师 ， 负 责 质量 方面 的 功能 ， 
并 恪 尽 其 职 呢 ? ff Google 这 样 的 公司 已 经 有 了 软件 测试 开发 工程 师 

(SET) 这 个 角色 ， 只 需要 让 他 们 转 为 开发 工程 师 就 可 以 了 。 但 在 我 
们 的 印象 中 ， 这 不 是 最 好 的 解决 方案 。 开 发 工程 师 ， 可 以 通过 负责 质 
量 方面 的 各 种 功能 特性 受益 GE: Google 有 一 个 服务 可 靠 性 工程 师 

(SRE) 计划 ， 称 为 质 控 使 命 。 工 程 师 在 完成 为 期 六 个 月 的 SRE 计 划 
后 ， 可 以 获得 一 笔 可 观 的 现金 奖励 和 一 个 镶 有 “ 质 控 使 命 ?Google 奖 章 
的 皮质 夹克 ) 。 然 而 ， 强 迫 人 们 做 这 件 事情 是 不 现实 的 ， 也 不 是 
Google 的 方式 。 测 试 特性 应 该 由 团队 的 新 成 员 人 负责 ， 特 别 是 那些 资历 
沿 浅 的 员工 。 

下 面 讲 讲 我 们 的 理由 。 测 试 这 个 功能 特性 贯穿 了 整个 产品 。 
此 ， 负 责编 写 测试 功能 特性 的 开发 者 ， 束 必须 学 习 产 品 从 用 户 界面 到 
API 的 方方面面 。 除 此 之 外 ， 还 有 什么 更 好 的 办 法 迅速 学 习 产品 的 设 
计 和 架构 并 进行 深入 人 研究 呢 ? 对 任何 团队 的 任何 一 个 开发 者 来 说 ， 全 
面 负 责 产 品 的 测试 功能 〈 无 论 是 从 头 开发 、 修 改 、 还 是 维护 ) 都 是 一 
个 非常 理想 的 热身 项 目 ， 或 者 说 其 实 是 最 佳 的 热 号 项目。 团队 里 来 了 
一 个 新 成 员 的 时 候 ， 原 有 的 测试 功能 开发 者 束 转 去 负责 其 他 的 功能 
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理解 测试 ， 并 真正 认真 地 对 待 质量 。 

资历 沿 浅 的 开发 人 员 ， 或 是 刚 从 学 校 毕 业 的 学 生 ， 会 发 现 测 试 开 
发 绝对 是 最 好 的 起 步 点 。 他 们 不 仅 能 从 中 学 习 整 个 项 目 ， 而 且 由 于 测 
试 代码 不 会 最 终 发 布 ， 也 就 避免 了 产生 影响 到 最 终 用 户 的 bug 带 来 的 压 
ARUBA, (至 少 不 会 在 职业 发 展 初期 发 生 ) ^ 

这 种 单一 角色 的 机 制 与 现在 Google 采 用 的 机 制 的 本 质 区 别 是 ， 测 
试 的 技能 被 乎 均 地 分 散 到 各 个 层级 的 开发 工程 师 身 上 ， 而 不 是 集中 于 
测试 开发 工程 师 (SET) 那里 。 这 个 不 同 非常 重要 ， 因 为 它 消除 了 测 
试 开发 工程 师 这 个 瓶 贷 ， 从 而 能 够 市 来 更 高 的 开发 效率 。 不 仅 如 此 ， 
工程 师 不 再 有 名 称 上 的 差异 ， 开 发 产品 的 功能 点 和 进行 测试 开发 束 不 
再 有 相互 之 间 的 隔 头 和 歧视 : 共同 的 角色 ， 共 同 的 团队 ， 为 了 共同 的 
产品 而 努力 。 


5.3 TE 的 未 来 


对 优秀 测试 工程 师 的 需求 之 大 前 所 未 有 。 然 而 ， 我 们 认为 这 种 需 
求 即将 达到 顶峰 并 会 迅速 下 降 。 传 统 意义 上 测试 工程 师 进行 的 测试 用 
例 的 撰写 、 执 行 、 回 归 等 工作 ， 它 们 实际 上 已 经 有 了 更 为 全 面 而 且 低 
成 本 的 形式 。 

这 种 机 会 很 大 程度 上 源 于 软件 交付 领域 技术 上 的 进步 。 在 过 去 ， 
软件 每 周 或 每 月 构建 一 次 并 需要 经 历 痛苦 的 集成 过 程 ， 特 别 需 要 测试 

员 能 够 发 现 bug， 并 尽 可 能 地 模仿 最 终 用 户 的 操作 。 产 品 交 付 以 后 
有 数 百 万 的 最 终 用 户 使 用 ， 问 题 很 难 被 跟踪 ， 产 品 也 没 办 法 及 时 更 
新 ， 因 此 必须 在 产品 交付 之 前 发 现 bug。 可 现在 已 经 不 是 这 样 了 。 通 


过 互联 网 交付 软件 ， 意 味 着 我 们 有 能力 选择 部 分 用 户 进 行 发 布 ， 啊 应 
这 部 分 用 户 的 反馈 ， 并 迅速 进行 更 新 。 开 发 者 和 最 终 用 户 之 间 沟 通 合 
作 的 障碍 不 复 存 在 。bug 的 寿命 从 几 个 月 变 成 了 几 分 钟 。 我 们 非常 快 
速 地 进行 构建 、 交 付 (给 内 部 试用 者 、 可 信赖 的 测试 者 、 早 期 用 户 或 
真实 用 户 ) 、 修 改 、 重 新 迭 代 交 付 ， 证 很 多 用 户 根本 来 不 及 发 现 缺 
陷 。 这 是 一 种 更 好 的 软件 交付 和 用 户 反 馈 机 制 。 那 些 专 职 的 测试 工程 
师 团 队 在 这 个 过 程 中 的 位 置 在 哪儿 ? 相 比 以 前 ， 最 终 用 户 感受 到 的 痛 
吾 大 大 降低 了 ， 我 们 需要 重新 合理 地 调整 测试 资源。 

问题 的 天 键 束 在 这 里 。 你 更 希望 用 哪 种 方式 测试 你 的 软件 呢 ? XE 
高 新 聘请 探索 式 测 试 专家 在 现场 尽力 预测 用 户 实际 使 用 软件 的 方式 并 
期 望 能 够 发 现 重要 的 bug， 还 是 激励 大 量 的 真实 用 户 发 现 并 报告 实际 
的 bug? 人 允许 真实 用 户 更 早 地 访问 软件 ， 沿 发 他 们 报告 问题 的 意愿 ， 
变 得 越 来 越 容易 。 而 且 ， 通 过 每 日 更 新 或 是 小 时 级 别 的 更 新 ， 带 给 这 
些 用 户 的 风险 非常 低 。 在 这 种 新 秩序 下 ， 测 试 工程 师 的 角色 需要 彻 展 
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我 们 相信 ， 测 试 工 程 会 转型 成 测试 设计 。 人 少量 的 测试 设计 师 快 速 
地 规划 出 测试 范围 、 风 险 热 图 和 应 用 程序 的 漫游 路 线 (参见 第 3 章 ) 。 
然后 ， 内 部 试用 者 、 可 信赖 的 测试 者 、 早 期 用 户 或 者 众 包 测 试 痢 提 交 
有 反馈， 由 测试 设计 师 来 评估 和 窗 盖 率 ， 计 算 风 险 影 响 ， 确 你 发 现 的 问题 
不 断 减 少 ， 并 相应 地 对 测试 活动 进行 调整 。 这 些 测试 设计 师 还 可 以 识 
别 需要 专业 技能 的 地 方 ， 比 如 安全 性 、 隐 私 、 性 能 和 探索 式 测试 ， 并 
安排 具有 这 些 技 能 的 人 通过 众 包 的 形式 完成 工作 。 还 会 需要 开发 或 购 
买 工 具 来 收集 、 分 析 这 些 提交 上 来 的 数据 ， 但 他 们 的 工作 中 没有 测试 
用 例 编写 ， 没 有 测试 执行 ， 没 有 实际 的 测试 行为 。 好 吧 ,，“ 没 有 ”这 个 
词 在 这 里 可 能 过 于 绝对 ， 不 过 可 以 肯定 ， 这 方面 的 工作 是 最 低 限 度 
的 。 这 个 工作 需要 的 是 规划 、 组 织 和 管理 近 于 免费 的 测试 资源 。 


我 们 相信 ， 测 试 工程 师 会 转变 成 像 安 全 工程 师 这 样 的 专家 型 角 
色 ， 或 者 他 们 会 变 成 测试 活动 的 管理 者 ， 而 那些 具体 的 测试 活动 则 由 
其 他 人 来 完成 。 这 是 一 个 富 于 挑战 的 高 级 角色 ， 需 要 非常 丰富 的 专业 
技能 。 这 个 角色 的 薪资 可 能 远 高 于 现在 的 测试 工程 师 职 位 ， 不 过 与 以 
往 相 比 ， 所 需 的 人 数 也 将 大 大 减少 。 


5.4 测试 总 监 和 经 理 驴 


TE 和 SET 角色 的 这 些 变化 ， 对 测试 上 总监、 经理， 甚至 副 总 裁 们 意 
味 看 怎样 的 未 来 呢 ? 这 意味 着 这 些 人 的 数量 将 会 大 幅 减 少 。 技 术 型 的 
主管 ， 将 会 更 多 地 转 癌 成 为 诸如 杰出 工程 师 这 样 的 个 人 角色 。 他 们 将 
作为 思想 领 袜 ， 为 维系 松散 的 测试 工程 师 和 人 负责 质量 的 软件 工程 师 的 
关系 而 存在 ， 但 不 会 最 终 为 某 个 特别 项 目的 质量 或 管理 负责。 测试 活 
动 应 该 对 人 们 具体 工作 的 产品 负责 ， 而 不 是 对 一 个 游离 于 产品 发 布 和 
其 余 开发 流程 之 外 、 集 中 管理 的 部 门人 负责 。 


5.5 测试 基础 ; 


Google 的 测试 基础 设施 仍然 是 基于 客户 端的 ， 这 多 少 有 些 令 人 和 意 
外 。 仍 有 大 量 Java 或 Python 编写 的 Selenium 和 WebDriver 的 测试 被 加 入 
源 代码 树 、 构 建 ， 并 通过 Shell 脚 本 部 署 到 大 量 的 专用 虚拟 机 上 。 在 专 
用 虚拟 机 上 ， 通 过 注入 浏览 娇 中 运行 的 方式 ， 执 行 这 些 基 于 Java 的 测 
斌 逻辑 代码 。 虽 然 这 样 可 行 ， 但 是 我 们 的 测试 基础 设施 需要 一 次 革 
新 ， 因 为 现 有 的 方案 需要 在 测试 创建 和 执行 上 花费 昂贵 的 人 工 和 机 器 


建设 成 本 。 测 斌 基础 设施 会 最 终 整 体 迁 移 到 云端 。 测 试用 例 库 ， 测 试 
代码 的 编辑 、 孙 制 和 执行 都 将 在 一 个 网 站 或 通过 浏览 圳 插件 完成 。 测 
试 编写 、 执 行 和 调试 需要 使 用 与 被 测 的 应 用 程序 本 吴 相 同 的 语言 和 环 
境 才 最 为 高 效 。 现 在 Google 和 许多 其 他 的 项 目 大 都 是 Web 应 用 。 对 于 
那些 非 Web 应 用 ， 例 如 原生 Android 或 OS 应 用 来 说 ， 测 试 将 通过 用 于 
处 理 Web 应 用 的 测试 框架 从 Web 并 驱动 ， 表 通过 适 配 絮 进行 适 配 。 
Native Driver (译注 : Google 测 试 博客 上 关于 Native Driver 的 帖子 : 
http://google-opensource.blogspot.com/ 2011/06/introducing-native- 
driverhtml) 就 是 一 个 好 的 例子 ， 它 遵循 了 这 种 “Web 端 优先 一 本 地 端 
从 属 ” 的 策略 。 

在 这 种 “快速 试 错 ” 的 环境 下 ， 软 件 项 目 和 测试 需要 更 快 地 出 现 和 
消失 ， 那 种 内 部 的 、 定 制 的 测试 框 染 和 专用 的 测试 执行 机 器 将 会 越 来 
越 少 。 测 试 开发 人 员 需 要 更 多 地 利用 开源 项 目 并 为 之 页 献 ， 快 速 组 
合 、 利 用 共享 的 云 计 算 资 源 进 行 测试 。Selenium 和 WebDriver 建 立 了 这 
种 由 企业 发 起 、 社 区 维护 的 基础 设施 开发 模式 。 将 来 会 有 更 多 这 种 项 
目 出 现 ， 将 开放 式 测 试 框架 、bug 和 问题 跟踪 系统 、 源 代码 控制 系统 
紧密 的 集成 。 

将 所 有 东西 保密 和 私有 化 只 能 获得 想象 中 的 优势 ， 为 了 分 至 测试 
数据 、 测 试用 例 和 测试 基础 设施 而 放弃 掉 这 些 是 值得 的 。 你 密 和 私有 
的 测试 基础 设施 只 能 意味 着 昂贵 、 人 述 组 ， 而 且 即 使 在 公司 内 部 的 不 同 
项 目 之 间 也 不 能 复 用 。 未 来 的 测试 人 员 将 会 尽 可 能 多 地 共享 代码 、 用 
例 和 bug 数 据 ， 而 来 目 社 区 的 回报 将 是 新 的 众 包 形式 的 测试 和 用 例 创 
建 ， 以 及 友和 老 的 用 户 关 系 ， 这 些 比 隐藏 各 种 东西 所 获得 的 想象 中 的 利 
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使 用 这 种 更 加 开放 、 基 于 云 计 算 的 方式 进行 测试 会 更 省 钱 ， 测 试 
基础 设施 开发 者 也 能 得 到 更 大 的 认可 。 最 重要 的 是 ， 项 目 层面 的 测试 
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的 产品 质量 和 更 快 的 发 布 周期 。 


5.6 结论 


我 们 熟知 和 喜爱 的 测试 方式 即将 终结 ， 这 听 起 来 难以 接受 。 对 于 
那些 职业 技能 已 经 定型 的 人 来 说 更 难 接受 。 但 是 ， 姓 庸 置疑 ， 随 痢 敏 
捷 开 发 、 持 续 构 建 、 早 期 用 户 介 入 、 众 包 测 试 、 在 线 软件 交付 的 不 断 
兴起 ， 软 件 开发 的 问题 也 已 经 彻底 改变 。 继 续 死 守 已 存在 数 十 年 之 久 
的 测试 教条 无 异 于 刻骨 求证。 

虽然 并 不 是 每 个 人 都 注意 到 了 这 一 点 ， 但 这 种 转变 在 Google 早 已 
发 生 。 集 中 测试 部 门 中 的 工程 师 、 经 理 和 总 监 正 逐渐 分 散 到 各 个 更 加 
关注 项 目的 团队 和 职责 岗位 上 。 这 种 转变 迫使 他 们 更 加 敏捷 、 更 少 天 
注 测试 流程 、 更 多 关注 产品 本 喘 。 作 为 Googler， 我 们 比 其 他 许多 公司 
更 早 地 看 到 了 这 个 变化 。 这 可 能 很 快 束 将 成 为 每 个 测试 人 员 都 要 面 对 
的 轩 新 现实 。 拥 抱 这 些 变化 吧 ， 并 促 其 发 生 ， 做 一 个 与 时 代 同 行 、 与 
时 俱 进 的 测试 者 。 


A Chrome OS} itt 


A.1 测试 主题 概述 


基于 风险 : Chrome OS 需要 测试 的 方面 相当 庞杂 ， 涵 盖 了 定制 化 
浏览 器 、 应 用 管理 器 的 用 户 体 验 (UX) 、 固 件 、 硬 件 、 网 络 、 用 户 数 
dal] BE DLEGEBOEM] 商 的 定制 化 的 物理 硬件 。 要 想 合 
理 地 处 理 这 些 测 试问 题 ， 必 须 采 用 基于 风险 的 测试 策略 ， 也 残 是 说 测 
试 团队 将 优先 关注 系统 中 风险 最 高 的 区 域 ， 然 后 按 风 险 次 序 依 次 处 
理 。 测 试 团队 会 严重 依赖 于 开发 团队 全 面 的 单元 测试 和 代码 质量 ， 以 
此 确保 整个 产品 的 质量 基础 。 

自动 化 硬件 测试 组 合 : 由 于 存在 各 种 不 同 的 硬件 环境 和 操作 系统 
版 本 ， 因 此 需要 在 每 次 构建 的 版 本 和 整个 硬件 环境 组 合 中 运行 测试 ， 
快速 发 现 回 归 问 题 并 辅助 定位 问题 存在 的 具体 软件 、 硬 件 或 环境 配置 
维度 。 (例如 ， 某 个 测试 用 例 可 能 仅 在 HP 硬件 上 的 无 线 网 络 配置 环 
境 下 版 本 X 的 网 络 浏览 器 上 会 失败 ) 

支持 快速 迭代 : Chrome OS 的 发 布 时 间 表 非常 紧张 ， 因 此 尽早 发 
现 bug 并 定位 问题 重 现 条 件 非 常 重要 。 所 有 的 测试 都 要 能 在 开发 人 员 的 
本 地 工作 机 上 运行 ， 以 减少 bug 进 入 代码 库 的 可 能 性 ， 并 通过 大 规模 的 
目 动 化 测试 用 例 组 合 ， 来 加 速 定 位 导致 回归 问题 的 原因 。 

开放 测试 用 例 和 工具 : 考虑 到 ChromiumOS 的 开放 源码 性 质 和 
OEM 合 作 广 商 的 质量 认证 ， 测 试 团 队 将 努力 保证 测试 工具 、 用 例 、 上 自 


动 化 代码 等 可 被 外 界 共享 和 执行 。 

Chrome OS 的 主要 浏览 器 平台 : Chrome 浏 览 器 测试 团队 将 把 
Chrome OS 作 为 主要 天 注 的 平台 。Chrome 浏 览 右 在 Chrome OS 中 的 可 
测试 性 、 上 自动 化 等 与 其 他 平台 相 比 将 被 得 到 更 多 的 关注 。 这 也 反映 出 
Chrome} bi aE Chrome OS 中 至 天 重要 的 地 位 。 它 是 Chrome OS 中 唯 
一 的 用 户 界面 ， 整 个 系统 和 硬件 环境 都 用 来 文 持 它 的 功能 。Chrome 
OS 中 Chrome 浏 贤 絮 的 质量 标准 将 会 更 高 。 

测试 提供 数据 : 测试 团队 的 目标 不 是 、 也 不 可 能 是 保证 质量 。 产 
质量 的 高 低 取 决 于 所 有 参与 者 ， 包 括 外 部 OEM) 商 、 开 源 项 目 
等 。 测 斌 团队 的 目标 是 降低 风险 ， 尽 可 能 地 发 现 问 题 和 bug， 为 大 团 
队 提 供 风 险 评估 和 度量 指标 。 测 试 、 开 发 、 项 目 经 理 和 其 他 第 三 方 都 
Xj Chrome OS 的 质量 有 很 大 的 发 言 权 和 影响 力 。 

可 测试 性 和 乘 数 效应 : 对 Google 应 用 团队 、 外 部 的 第 三 方 团队 、 
甚至 是 内 部 团队 来 说 ， 可 测试 性 在 过 去 一 直 是 一 个 问题 。 测 试 团 队 将 
EX & Accessibility 、Android 和 WebDriver 团队 来 增进 可 测试 性 ， 让 
Chrome OS 中 的 Chrome 浏 贤 右 能 被 正式 文 持 。 这 将 提高 Google 应 用 
队 内 部 的 目 动 化 效率 ， 也 让 Chrome 成 为 测试 其 他 第 三 方 Web 页 面 应 用 
的 理想 平台 。 
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A.2 风险 分 析 


测试 团队 将 推动 功能 性 风险 分 析 ， 以 达成 如 下 目标 。 
保证 产品 的 质量 风险 被 周知 。 
保证 测试 团队 始终 仅 关注 最 高 投资 回报 率 (ROI) 的 任务 。 


保证 存在 一 个 质量 和 数据 评 们 框架 ， 能 够 随 着 产品 的 演进 和 新 数 
据 的 引入 ， 对 新 的 质量 和 风险 数据 进行 评估 。 

风险 分 析 过 程 是 将 所 有 已 知 产品 特性 和 能 力 简单 罗列 ， 然 后 测试 
团队 根据 每 个 方面 的 出 现 频次 和 失效 可 能 性 ， 以 及 失效 产生 后 采 (对 
用 户 和 业务 ) 的 严重 程度 ， 评 估 每 个 方面 的 绝对 内 在 风险 。 然 后 ， 把 
已经 存在 的 能 够 降低 这 些 风险 的 策略 《如 现 有 的 测试 用 例 、 目 动 化 测 
试 、 用 户 试 用 测试 、OEM 测试 等 ) 从 相应 的 已 知 风 险 中 扣除 。 把 所 有 
组 件 根据 剩余 风险 进行 排序 ， 然 后 通过 开发 测试 用 例 、 目 动 化 和 流程 
改进 等 措施 来 应 对 。 

关键 问题 是 要 知道 产品 的 风险 集中 在 哪里 ， 并 总 能 天 用 手中 的 次 
源 去 降低 这 些 风 险 。 


A.3 每 次 基线 视 |i 


对 每 次 持续 构建 的 版 本 在 开发 人 员 的 单元 测试 以 外 ， 还 将 通过 构 
建 机 器 人 (Buildbot) 执行 以 下 测试 。 

冒 烟 测试 (P0 自 动 化) 。 

性 能 测试 。 


A.4 可 Jl Last Known Good 
LKG) BJ Ell 


每 天 都 会 对 持续 构建 的 最 新 可 测试 版 本 (LKG) 执行 以 下 测试 。 


一 系列 功能 验收 测试 的 手工 执行 (可 以 限定 每 天 在 一 种 类 型 的 硬 
件 环境 中 执行 ) 。 

功能 回归 测试 自动 执行 。 

在 每 日 构建 版 本 上 ， 滚 动 式 地 持续 执行 Web 应 用 程序 的 测试 (E 
括 自动 和 手工 测试 ) 。 

滚动 式 执行 压力 测试 、 可 靠 性 测试 、 稳 定性 测试 等 。 在 每 日 构建 
版 本 上 反复 执行 这 些 测 试 ， 直 到 没有 新 问题 出 现 ， 然 后 转 为 每 周 执 
行 。 

寺 续 地 进行 手工 探索 式 测试 和 漫游 式 测试 。 


M 


A.5 Ni: 


每 个 发 布 通道 的 “候选 发 布 ? 版 本 。 
Wa He AS PE: Chrome 浏 览 器 测试 团队 负责 对 前 100 名 站 点 
(Top100) 在 Chrome OS 上 进行 验证 。 
场景 验证 : 对 Chrome OS 对 外 展示 或 者 回合 作 伙伴 发 布 的 示例 性 
场景 (可 能 最 多 有 两 到 三 个 示例 ) 进行 验证 。 
PO bug 验 证 : 验证 所 有 已 被 修正 的 优先 级 为 P0 的 bug。 验 证 80% 的 
目 上 次 发 布 版 本 以 来 记录 的 优先 级 为 P1 的 bug 。 
全 面 压力 和 稳定 性 测试 ， 执行 一 次 压力 和 稳定 性 测试 。 
Chrome OS 手工 测试 用 例 : 执行 所 有 的 Chrome OS 手工 测试 用 例 
(可 以 分 派 给 不 同 的 测试 人 员 和 不 同 的 硬件 环境 ) 。 


A.6 手工 测试 与 目 动 化 测 ; 


FMA, PAE TE H FAHA A A MR RER 
性 经 党 变化 、 可 测试 性 和 目 动 化 开发 工作 仍 在 进行 的 时 候 ， 手 工 测 试 
有 不 可 蔡 代 的 作用 。 手 工 测 试 的 重要 性 还 体现 在 ， 由 于 Chrome OS 的 
核心 价值 在 于 其 简单 性 ， 用 户 界 面 和 体验 必须 非常 直观 流畅 。 目 前 ， 
机 器 还 不 能 做 这 些 方面 的 测试 。 

目 动 化 测试 是 项 目 取得 长 期 成 功 的 关键， 也 是 测试 团队 高 效 检 验 
回归 问题 的 关键 。 浏 览 器 自动 化 已 经 实现 ， 因 此 很 多 高 优先 级 和 高 回 
报 率 的 手工 测试 用 例 也 被 目 动 化 了 。 


A.7 j 试 的 质量 关注 点 


开发 团队 相对 来 说 大 一 些 ， 而 且 更 了 解 组 件 内 部 机 制 和 代码 级 别 
的 实现 细 市 。 我 们 需要 开发 人 员 能 够 提供 丰富 的 单元 测试 集 和 通过 
Autotest 加 入 重要 的 系统 测试 用 例 。 

测试 团队 会 更 多 地 关注 端 到 端 (end-to-end) 的 测试 和 集成 测试 场 
景 ， 着 重 于 骏 露 给 最 终 用 户 的 功能 特性 、 跨 组 件 的 交互 操作 、 稳 定性 
和 可 扩展 性 测试 以 及 测试 报告 。 


A.8 发 布 通道 


我 们 应 该 学 习 Chrome 浏览 郁 团 队 使 用 不 同 的 发 布 “ 通 道 ” 的 成 功 
经 验 ， 根 据 对 痛 藻 的 容 妨 程度 和 进行 反馈 的 意愿 来 区 分 用 户 群 体 。 这 
些 发 布 通道 根据 对 质量 逐步 严格 的 保证 级 别 来 进行 维护 。 这 种 机 制 模 


仿 了 在 "google.com” 的 实验 性 属性 ， 人 允许 在 大 量 部 署 前 在 真实 环境 中 
进行 某 种 程度 的 试验 ， 降 低 了 整个 产品 的 风险 。 


A.9 用 户 输入 


用 户 输入 对 产品 质量 相当 关键 。 你 需要 帮助 用 户 更 便捷 地 提供 可 
操作 的 反馈 意见 ， 并 能 管理 这 些 数据 。 

GoogleFeedback 扩 展 : 这 个 扩展 程序 允许 用 户 在 任意 URL 页面 上 
通过 鼠标 点 击 提供 反馈 意见 。 它 还 提供 了 聚合 这 些 反 馈 信息 和 分 析 的 
显示 面板 。 测 试 团队 将 帮助 支持 GoogleFeedback 工 具 集 成 到 Chrome 
OS， 扩 展 它 的 报表 部 分 并 合并 到 Chrome OS 的 用 户 界面 中 。 

已 知 bug 扩 展 /平视 显示 器 : 与 项 目 相 关 的 可 信任 用 户 ， 可 以 很 方 
便 地 在 Chrome OS 中 记录 所 发 现 的 bug， 也 可 以 在 Chrome 浏 宽 絮 中 直接 
看 到 已 知 bug。 今 后 将 发 展 更 为 通用 的 “平视 显示 器 (HUD) ”来 显示 
项 目 和 质量 数据 。 

努力 文 持 对 所 有 Googler 开 放 使 用 ， 包 括 文 持 非 标准 化 的 硬件 环 


境 


A.10 测试 用 例 座 


手工 测试 用 例 : 所 有 的 手工 测试 用 例 都 被 存储 在 TestScribe 中 。 
以 后 会 在 “code.google.com” 维 护 一 套 测 试用 例 集 。 

目 动 化 测试 用 例 : 所 有 的 目 动 化 测试 用 例 都 被 存储 在 Autotest 的 树 
形 结构 中 。 所 有 的 用 例 都 包含 版 本 信息 ， 可 共享 ， 而 且 与 被 测 代 码 放 


A.11 MANER 


为 了 满足 快速 处 理 大 量 测试 数据 的 需求 ， 测 斌 团队 投入 开发 了 一 
个 专用 的 质量 度量 数据 仪表 副 。 这 个 仪表 副 提 供 了 宏观 的 质量 评估 数 
jg (绿灯 和 红 灯 ) ， 良 合 包 括 手 工 测 斌 和 自动化 测试 在 内 的 执行 结 
果 ， 而 且 允 许 对 失败 信息 进行 同 下 销 取 。 


A.12 虚拟 化 


文 持 Chrome OS 的 虚拟 化 镜像 非常 重要 ， 尤 其 是 在 项 目的 初始 阶 
段 。 这 使 我 们 降低 了 对 物理 硬件 的 依赖 ， 加 速 镜像 的 创建 ， 支 持 在 
Selenium 和 WebDriver 测 试 机 群 中 完成 回归 测试 ， 并 支持 直接 在 工作 站 
上 进行 Chrome OS 的 开发 和 测试 。 


A.13 性 能 


性 能 是 Chrome OS 的 一 个 核心 特性 ， 因 此 完成 性 能 需求 是 一 个 涉 


行 、 报 告 和 趋势 总 结 ， 而 不 是 直接 开发 性 能 测试 。 
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A.14 EJ ` KESAR A E PESE 


测试 团队 负责 创建 长 时 运行 (long-running) 测试 用 例 ， 并 在 物理 
硬件 的 实验 环境 里 执行 这 些 测 试 。 通 过 底层 平台 进行 故障 注入 。 


^ 


A.15 Wi Autotest 

测试 和 开发 团队 已 经 达成 一 致 ， 使 用 Autotest 作 为 核心 目 动 化 测试 
框架 。Autotest 是 开源 项 目 ， 并 已 在 Linux 社区 和 多 个 内 部 项 目 被 验 
WE ° Autotest 还 文 持 本 地 和 分 布 式 运行 。Autotest 封 装 了 其 他 功能 测试 
工具 (如 WebDriver 和 其 他 第 三 方 测试 工具 ) ， 因 此 测试 执行 、 分 发 和 
报告 的 调用 接口 是 统一 的 。 

需要 指出 的 是 ， 核 心 测试 工具 团队 已 经 为 Autotest 加 入 了 对 
Windows 和 Mac 的 支持 。 


A.16 OEM) T$ 


OEM  Táf£Chrome OS 的 构建 中 扮演 了 关键 角色 。 测 试 和 开发 团 
队 共 同 努 力 为 OEMJ 丙 发 布 相关 的 手册 和 目 动 化 测试 用 例 ，OEM 广 商 
人 负 员 检测 构建 版 本 和 硬件 的 质量 。 测 试 团 队 还 会 和 顶级 OEM 厂商 密 
切合 作 ， 在 每 日 测试 中 宫 括 各 种 不 同 的 硬件 ， 更 早 发 现 特 定 OEM Pj 
相关 的 问题 和 功能 回归 问题 。 


A.17 SEU FH 


硬件 实验 田 被 构建 来 文 持 一 系列 广泛 的 网 络 笔记 本 电脑 和 一 些 具 
备 通用 服务 组 件 的 设备 。 这 些 通用 服务 组 件 包括 电源 、 网 络 (有 线 和 
无 线 ) 、 健 康 指示 面板 、 电 源 管 理 ， 以 及 一 些 直 接 用 于 测试 的 特殊 基 
础 设施 ， 如 测试 无 线 网 络 。 这 些 实验 田 机 天 主要 通过 HIVE 架构 来 管 
理 。 


A.18 闪 到 端 测试 目 动 化 


测试 团队 建立 了 一 套 由 一 系列 网 络 笔 S 负责 
测试 执行 和 报告 ， 涵 盖 了 大 量 硬 件 和 软件 的 组 合 。 这 个 集群 分 布 在 
MTV ` KIR ` HYD 等 多 个 地 理 位 置 ， ne 
并 利用 时 差 间隔 实现 不 间断 的 测试 执行 和 调试 。 


A.19 WU iH ESSENT S 理 


Chrome OS #20 PAYM bas, fe Chrome OS 特殊 界面 和 功能 特 
性 的 Linux 版 本 的 Chrome 浏 "m a ° E 5 Chrome? it as HY T2 Ò hk ZI TH 
比 ， 主 要 的 展现 引擎 和 功能 特性 都 是 一 样 的 ， 但 在 某 些 方面 还 是 有 些 
明显 的 不 同 (如 固定 标签 页 、 下 载 管 理 器 、 应 用 启动 器 、 平 台 控制 界 
面 、 无 线 网 络 等 ) 。 

Chrome OS 是 Chrome 浏 览 器 核心 版 本 的 主要 测试 平台 (手工 测试 
和 自动 测试 ) 。 


Chrome 2X] i it PK LD AS AT EA, D EER a OB A ig ABS R alc 81] 
Chrome OS 系统 中 (基于 质量 和 Chrome OS 的 功能 特性 ) 

对 每 个 Chrome OS 的 候选 发 布 版 本 ， 浏 览 器 核心 版 本 团队 会 在 
Chrome OS 上 执行 常规 的 站 点 (应 用 ) 组 合 兼容 性 测试 〈 包 括 300 个 常 
用 站 点 ， 目 前 只 有 对 在 线 站 点 的 手工 测试 ) 

站 点 (应 用 ) 的 兼容 性 测试 已 经 通过 WebDriver 部 分 自动 化 并 集成 
进 buildbot 目 动 构建 或 者 常规 执行 ， 可 以 对 主要 的 Chrome OS 特定 回归 
问题 发 出 “早期 警告 ”信号 。 

一 组 针对 Chrome OS 浏 览 器 的 功能 特性 和 应 用 管理 器 的 手工 测 
试 ， 由 一 个 测试 外 包 团 队 开 发 和 执行 。 

在 API 实 现 之 后 ， 外 包 团 队 负 责 目 动 化 Chrome OS 的 手工 测试 集 。 

Chrome OS Chromebot 应 该 拥有 Linux 和 Chrome OS 不 同 的 版 本 ， 
与 Chrome OS 的 特定 功能 一 起 运行 而 不 仅仅 是 Web 应 用 。 

手工 探索 式 测试 和 漫游 测试 ， 应 该 在 发 现 人 简洁 性 、 功 能 性 和 易 用 
性 等 面 癌 最 终 用 户 的 问题 上 体现 价值 。 


A.20 浏览 器 的 可 测试 


浏览 占 为 用 户 展现 了 很 多 Chrome OS 的 核心 界面 和 功能 。 很 多 浏 
哆 妖 的 界面 是 不 可 测试 的 ， 或 者 只 能 通过 浏览 器 以 外 更 底层 的 IPC 目 
动 代理 接口 进行 测试 。 在 Chrome OS 中 ， 我 们 致力 于 统一 Web MH ` 
Chrome 用 户 界 面 和 功能 特性 的 测试 ， 并 且 能 够 触发 展 层 系统 测试 。 我 
们 还 想 让 Chrome 成 为 对 于 Web 应 用 来 说 最 可 测试 的 浏 贤 器 ， 鼓 励 外 部 
Web 开 发 团队 首先 在 Chrome 平 台 上 进行 测试 。 为 此 ， 我 们 构建 了 下 面 
的 测试 设施 。 


将 Selenium 和 WebDriver 移 植 到 Chrome OS: 这 是 当前 最 核心 的 
Web 应 用 测试 框架 。Chrome OS 和 Chrome 浏 览 妖 测试 团队 ， 很 有 可 能 
屑 人 负 起 WebDriver 的 Chrome OS 相关 功能 的 实现 ， 并 进一步 为 应 用 团队 
和 外 部 测试 人 员 提 供 稳定 、 可 测试 的 接口 。 

把 Chrome OS 的 界面 和 功能 通过 JavaScript DOM 暴 露出 来 : 这 样 
束 也 可 以 通过 WebDriver 来 驱动 Chrome OS 的 界面 和 功能 测试 了 。 这 音 
分 功能 通过 与 ChromeView 里 提供 的 shutdown、sleep 等 辅助 功能 一 样 的 
方法 又 露出 来 。 

高 阶 脚本 : 与 WebDriver 开发 人 员 合 作 ， 将 基本 的 WebDriver API 
扩展 成 为 纯 JavaScript， 并 最 终 成 为 更 高 阶 的 录制 /回放 和 参数 化 的 脚本 

《如 “Google 搜 索 < 关 键 词 >”) 。 这 加 速 了 内 部 和 外 部 的 测试 开发 ， 
为 如 果 用 WebDriver 开 发 将 需要 相当 大 量 的 时 间 ， 用 于 获取 元 素 以 及 处 
理 当 界面 快速 变化 时 的 维护 问题 。 


A.21 WEEE 


Chrome OS 有 一 整套 的 硬件 需求 和 来 目 众 多 OEMJ 商 的 变化 。 在 
= AJOEM) 商 平 台 上 和 需要 进行 特定 的 测试 ， 以 保证 物理 硬件 和 
Chrome OS 系 统 的 紧密 集成 。 具 体 来 说 ， 这 些 测试 包括 以 下 这 些 。 

电源 管理 :外 接 电源 和 电池 电源 循环 操作 ， 电 源 失 效 ， 硬 件 组 件 
的 电源 管理 ， 等 等 。 

硬件 故障 : Chrome OS 如 何 检 测 硬件 故障 以 及 如 何 恢复 ? 


A.22 了 时间 线 


2009 年 Q4 

定义 手工 验收 测试 ， 并 在 持续 构建 版 本 上 执行 。 

定义 基础 发 布 检验 测试 ， 并 对 每 个 主要 发 布 版 本 执行 。 

建立 基础 硬件 实验 环境 o 

完成 风险 分 析 。 

村 续 构 建 版 本 的 端 到 端 目 动 化 测试 ， 在 网 络 笔记 本 电脑 的 物理 实 
验 环境 中 运行 。 

基于 Hive 的 虚拟 化 和 物理 机 镜像 支持 。 

移植 WebDriver 和 Selenium 到 Chrome OS ° 

重要 Web 应 用 的 部 分 和 目 动 化 测试 。 

决定 实现 团队 使 用 的 测试 框架 。 

推动 GoogleFeedback 与 Chrome OS 的 集成 。 

构建 核心 测试 团队 、 人 员 和 流程 。 

目 动 化 语音 /视频 测试 。 

完成 基于 风险 的 测试 计划 。 

界面 手工 测试 计划 。 

20104FQ1 

质量 计 分 板 。 

目 动 化 更 新 测试 。 

在 实验 室 环境 文 持 目 动 性 能 测试 。 

在 HYD、KIR 和 MTV 都 建立 实验 室 环 境 并 开始 执行 测试 。 

Linux 和 Chrome OS 版 本 的 Chromebot ° 

主要 Chrome OS 功能 和 界面 的 可 测试 性 支持 。 

Chrome OS 功能 回归 上 自动 化 测试 集 。 

Tf Chrome OS 加 入 Web 应 用 的 Selenium 测 斌 机群 。 

文 持 浏 览 融 和 用 户 界 面 测试 的 录制 回放 的 原型 。 

ChromeSync 的 端 到 端 测试 用 例 的 目 动 化 


稳定 性 和 故障 注入 测试 。 

特定 网 络 测试 o 

能 令 James 满 意 的 日 常 的 探索 式 手工 测试 和 漫游 。 

2010 年 Q2 

通过 测试 和 自动 化 降低 风险 。 

2010 年 Q3 

通过 测试 和 自动 化 降低 风险 。 

2010 年 Q4 

所 有 风险 得 到 缓解 ， 所 有 可 上 自动 化 的 都 完成 目 动 化 ， 没 有 新 的 问 
题 发 现 ， 没 有 新 的 界面 和 功能 变化 。 测 试 团队 放松 下 来 。 


A.23 主要 的 测试 驱动 力 


Chrome OS 平台 的 测试 技术 负责 

Chrome OS 浏 唤 器 的 测试 技术 负责 

基础 浏览 妖 目 动 化 测试 技术 负责 

计 分 板 和 度量 指标 。 

手工 验收 测试 的 定义 和 执行 。 

手工 回归 测试 的 定义 和 执行 (包括 相应 的 外 包 团 队 ) 

浏览 器 应 用 兼容 测试 ， 基 础 用 户 界 面 和 功能 “手工 ) 测试 以 及 测 
试 外 包 。 

音频 和 视频 。 

稳定 性 /故障 注入 。 

无 障碍 测试 。 

硬件 实验 环境 : KIR、HYD 和 MTV ° 


自动 化 测试 机 群 。 
硬件 验收 测试 。 


总 体 指导 和 资金 支持 。 


A.24 


风险 分 析 。 

人 硬件 实验 环境 。 

Jg El rg A WALE ° 

虚拟 化 和 物理 机 管理 基础 设施 。 
平视 显示 器 (HUD) 。 

手工 验收 测试 。 

测试 结果 显示 板 。 
OEM 便 件 认 证 测试 。 

硬件 使 用 状况 和 健康 状况 显示 板 。 
Chrome OS 手 工 / 功 能 测试 计划 。 


Chrome 的 漫游 测试 包括 以 下 几 项 。 
购物 漫游 。 

FEIR ° 

国际 长 途 电话 漫游 。 

地 标 漫游 。 

通宵 漫游 。 

公务 漫游 。 

危险 地 市 漫游 。 

个 性 化 漫游 。 


描述 ， 购 物 是 很 多 人 喜欢 的 消 遗 方式 ， 到 一 处 新 的 旅游 地 点 ， 如 
果 能 发 现 一 些 可 以 买 的 新 奇 商 品 也 是 一 大 乐事 。 对 某 些 城市 来 说 ， 奢 
华 的 购物 几乎 成 为 其 最 吸引 人 的 地 方 。 香 港 束 拥有 一 些 世界 上 最 聚 华 
的 购物 中 心 ， 其 中 有 超过 800 多 家 店铺 。 

在 软件 领域 ,两 业 行 为 屡见不鲜 。 虽 然 不 是 所 有 软件 应 用 都 让 人 
们 掏 钱 ， 但 还 是 有 相当 一 部 分 应 用 会 这 么 做 。 我 们 正 进入 一 个 充满 了 
各 种 可 供 下 载 的 时 代 ， 这 种 现象 更 是 芝 仿 。 购 物 漫游 测试 邀请 用 户 使 


用 被 测 软件 ， 在 各 种 可 能 的 情况 下 进行 消费 ， 检 验 用 户 可 以 流畅 地 、 
有 效 地 进行 商业 体验 。 

应 用 : Internet 上 有 近 平 无 尽 的 消费 方式 ， 而 Chrome 浏 贤 器 是 
Internet 的 入 口 。 虽 然 不 可 能 测试 所 有 的 商家 ,但 是 检验 在 Google 商 店 
里 的 大 多 数 零 售 商 可 以 被 访问 ， 还 不 成 问题 。 以 下 是 根据 访问 流量 统 
计 的 一 系列 常用 在 线 销 售 网 站 。 


eBa(www.eBay.com) ° 


Amazon (www.amazon.com) ° 
Sears (www.sears.com) ° 

Staples (www.staples.com) ° 
OfficeMax (www.officemax.com) ° 
Macy’s (www.macys.com) ° 
NewEgg (www.newegg.com) ° 


Best Bu(www.bestbuy.com) ° 


B.2 ZÆ? 


描述 : 很 多 学 生 把 握 机 会 出 国学 习 ， 在 新 地 点 生活 的 同时 ， 他 们 
会 利用 当地 的 各 种 资源 增进 他 们 的 专业 知识 。 这 包括 了 对 外 来 人 员 开 
放 的 所 有 资源 ， 如 图 书馆 、 档 膝 饮 和 博物 馆 。 

类 似 的 ， 在 软件 领域 ,很 多 人 尝试 使 用 新 技术 进行 研究 ， 增 进 他 
们 对 某 个 特定 领域 的 理解 。 这 个 漫游 测试 束 是 鼓励 用 户 做 这 样 的 事 ， 
充分 利用 和 测试 软件 的 各 种 功能 来 帮助 达到 获取 和 组 织 信 息 的 目的 。 

应 用 : 测试 Chrome 浏览 器 能 多 好 地 从 各 种 不 同 的 信息 源 收集 和 
组 织 数据 。 例 如 ， 用 户 能 从 多 家 站 点 获取 信息 并 把 它们 存储 在 云端 的 


文档 上 吗 ? 离线 内 容 能 被 成 功 的 上 传 和 使 用 吗 ? 
建议 的 测试 方面 
Chrome 的 学 生 漫 游 测试 包括 以 下 儿 项 。 
复制 粘贴 : 各 种 不 同类 型 的 数据 能 通过 剪贴 板 传递 吗 ? 
把 离线 数据 移动 到 云端 : Web 页面、 图 像 、 文 字 等 。 
容量 : 同时 在 不 同窗 口 打 开 多 份 文档 。 
传输 : 在 标签 页 和 窗口 键 移动 数据 ， 以 及 在 不 同类 型 的 窗口 间 
(正常 的 和 匿名 访问 窗口 ) 移动 数据 。 


B.3 国际 长 途 电话 漫 } 


描述 : 旅行 期 间 给 家 里 打 电 话 本 身 束 是 一 种 经 历 。 与 国际 长 途 话 
务 员 打 交道 ， 处 理 货币 、 信 用 卡 等 问题 的 时 候 可 能 会 遇 到 一 些 非常 有 
趣 的 事情 。 

在 软件 世界 ， 用 户 可 能 希望 使 用 某 些 相同 的 功能 (家 里 人 ) ， 但 
是 要 从 不 同 的 平台 上 使 用 ， 或 者 有 不 同 的 权限 ， 不 同 的 设置 。 这 个 漫 
游 测 试 关 注 于 保证 用 户 无 论 从 哪里 操作 ， 都 能 够 获得 流畅 可 靠 的 体 
验 。 

应 用 : 在 不 同 的 平台 (Windows、Mac、Linux) 上 ， 使 用 操作 系 
统 中 不 同 的 网 络 连 接 设置 ， 通 过 Chrome 去 浏览 常用 的 站 点 ， 使 用 常用 
的 功能 。 

建议 的 测试 方面 

Chrome 的 国际 长 途 电话 漫游 包括 以 下 几 项 。 

操作 系统 : Windows ` MacfilLinux ° 

权限 级 别 : 高 可 信和 度 和 低 可 信和 度 。 


语言 : 复杂 的 语言 和 从 右 到 左 书写 的 语言 。 
网 络 选项 : 代理 服务 般 、 无 线 网 络 、 有 线 局 域 网 、 防 火 寺 。 


B.4 地 标 漫游 


描述 : 这 个 过 程 很 简单 。 朝 着 你 想 去 的 方向， 使 用 罗 一 定位 一 个 
地 标 (HR a + RE, SESE) ， 前 进 到 那个 地 标 ， 然 后 找到 下 
一 个 地 标 ， 然 后 如 此 继续 。 只 要 这 些 地 标 都 在 一 个 方向 上 ， 你 就 能 通 
过 成 密 的 肯塔基 森林 。 探 索 式 测试 人 员 的 地 标 漫 游 测 试 是 类 似 的， 我 
们 选取 标志 ， 然 后 顺 着 标志 执行 ， 我 们 就 能 罕 过 森林。 

应 用 : 在 Chrome 中 ， 这 个 漫游 测试 要 看 看 用 户 能 不 能 从 一 个 地 标 
转移 到 男 一 个 地 标 。 验 证 用 户 可 以 到 达 各 个 地 标 ， 如 不 同 的 浏览 器 窗 
口 、 打 开 附件 、 设 置 等 。 建 议 的 测试 方面 

Chrome 的 地 标 漫 游 包 括 以 下 几 个 方面 。 

浏览 器 窗口 :这 是 用 于 浏览 web 的 浏览 器 主 窗口 。 

隐身 浏览 窗口 ， 隐 身 窗口 用 于 不 被 记录 的 浏览 ， 窗 口 左上 角 标 志 
性 的 间谍 人 形 图 标 会 提醒 用 户 正 处 于 隐 吴 窗口 。 

紧凑 浏览 工具 条 : 这 个 浏览 器 窗口 可 以 从 菜单 中 获得 ， 在 窗口 的 
标题 栏 中 有 一 个 搜索 框 。 

下 载 管理 器 : 下 载 管 理 器 列表 显示 用 户 下 载 的 内 容 。 

书签 管理 器 : 书签 管理 器 是 一 个 完整 的 窗口 ， 用 于 显示 和 启动 用 
PI 

开发 者 工具 : 这 些 工具 包括 任务 管理 器 、JavaScript 控 制 台 等 。 

设置 这 些 设置 在 选择 窗口 右上 角 的 菜单 选项 时 触发 。 

主题 页 : 用 户 可 以 通过 这 个 页 面 设置 Chrome OS 的 个 性 化 外 观 。 


à] Y, 


B.5 


描述 : 你 能 走 多 远 ? 通宵 漫游 要 求 游客 挑战 目 己 的 耐力 ， 不 间断 
地 从 一 个 景点 转战 另 一 个 景点 ， 中 间 没 有 或 仅 有 极 短 屠 的 休 妃 时 间 。 
这 样 的 观光 方式 是 对 体格 的 考验 。 你 能 熬 过 整个 通宵 吗 ? 

在 软件 领域 ， 这 种 漫游 测试 检验 被 测 产 品 在 长 时 间 连 续 使 用 的 情 
况 下 能 文 持 多 久 。 这 个 过 程 的 关键 是 让 用 户 持续 长 时 间 的 使 用 而 不 试 
图 关闭 任何 东西 。 这 种 漫游 测试 可 以 发 现 那 些 只 有 在 使 用 了 很 长 一 段 
时 间 以 后 才 会 出 现 的 问题 。 

应 用 (Chrome) : 打开 很 多 标签 页 ， 安 装 扩展 程序 ， 变 更 主题 ， 
在 同一 个 会 话 中 不 断 浏 览 网 页 ， 持 续 尽 可 能 长 的 时 间 。 即 使 是 不 再 使 
用 了 ， 也 不 要 关闭 任何 标签 页 或 浏 蜗 窗 口 ; 不断 打开 更 多 的 内 容 。 如 
果 这 个 漫游 测试 持续 几 天 ， 那 束 在 夜间 保持 打开 Chrome， 到 第 二 天 继 
ZETA ° 

建议 的 测试 方面 

Chrome 的 通宵 漫游 测试 包括 以 下 儿 项 。 

标签 页 和 窗口 : 开启 大 量 的 标签 页 和 窗口 。 

扩展 程序 : 安装 大 量 的 浏览 器 扩展 程序 并 让 它们 保持 运行 。 

持续 不 断 : 长 时 间 保持 所 有 的 东西 在 打开 状态 。 


B.6 公务 } i 


描述 : 有 些 人 旅行 是 为 了 愉悦 ， 而 有 些 人 则 是 为 了 工作 。 这 种 游 
贤 考 察 旅行 者 ， 在 新 目的 地 是 否 能 方便 地 完成 所 需 工 作 。 有 没有 本 地 
供应 两 ? 有 哪些 当地 风俗 需要 遵从 ? 


在 软件 领域 ， 这 种 漫游 测试 考察 用 户 是 否 能 方便 地 利用 被 测 软 件 
提供 的 工具 进行 开发 。 与 当地 供应 商 和 当地 风俗 相对 应 ， 用 户 可 以 看 
看 被 测 应 用 提供 了 多 少 工 具 ， 以 及 能 够 多 方便 地 导入 和 导出 内 容 。 

应 用 : Chrome 提 供 了 相当 多 的 工具 供 JavaScript 开 发 人 员 和 Web 开 
发 人 员 使 用 ， 用 以 测试 和 运行 他 们 的 在 线 内 容 。 使 用 这 种 漫游 测试 检 
验 各 种 工具 ， 生 成 示例 脚本 和 测试 在 线 内 容 。 

Chrome 里 的 工具 

Chrome 的 公务 漫游 测试 包括 以 下 几 项 。 

开发 人 员工 具 : 观察 页 面 元 素 、 资 源 、 脚 本 ， 启 用 资源 跟踪 。 

JavaScript 控 制 台 : JavaScript 控 制 台 是 否 运行 正常 ? 

查看 源 代码 : 通过 代码 彩色 显示 和 其 他 帮助 工具 ， 是 否 便于 阅读 
代码 ， 是 否 便 于 找到 相关 代码 的 厂 段 ? 

任务 管理 器 : 进程 是 否 被 正确 显示 ， 是 否 能 方便 的 看 到 网 页 占用 
了 多 少 资源 ? 


B.7 危险 地 带 漫游 


描述 : “每 个 城市 都 有 一 些 危 险 地 带 ， 观 光 者 都 会 谨慎 地 避 开 。 软 
件 中 也 存在 危险 地 市 一 一 那些 集中 产生 bug 的 代码 。” 

应 用 : Chrome 的 重点 是 提供 快速 、 简 洁 的 Web 浏 贤 体 验 ， 但 是 在 
富 内 容 上 可 能 会 有 问题 。 当 Chrome 初 次 发 布 的 时 候 ， 有 报告 说 连 
YouTube 上 的 视频 都 不 能 正确 播放 。 虽 然 现在 对 这 些 问题 的 处 理 已 经 
有 了 明显 的 改善 ， 但 在 富 内 容 方 面 仍然 有 不 小 的 挑战 。 

Chrome OS 中 的 危险 地 市 漫游 测试 

Chrome 的 危险 地 囊 漫 游 测试 包括 以 下 儿 项 。 


在 线 视频 : Hulu ` YouTube ` ABC ` NBC ` SRE, UNES 


Flash 内 容 : 游戏 、 广 告 及 演讲 稿 。 

扩展 程序 : 富 内 容 的 扩展 程序 。 

Java applet: 验证 Java applet 能 成 功 运 行 。Yahoo! 游戏 就 是 一 个 
Java applet 还 很 流行 的 例子 。 

O3D: 验证 用 Google 上 自己 的 O03D 编 写 的 内 容 。 例 如 ，Gmail 中 的 视 
频 电话 残 使 用 O3D 。 

多 实例 : 尝试 在 不 同 的 标签 页 和 浏览 窗口 中 打开 多 个 富 内 容 实 
例 。 


B.8 个 性 化 ; 


描述 : 个 性 化 观光 让 游客 在 旅途 中 最 大 限度 地 获得 独特 的 个 人 体 
验 。 这 可 能 包括 各 个 方面 ， 从 办 镜 到 租 的 车 、 雇 的 导游 ， 甚 至 到 光临 
的 服装 小 店 。 软 件 领 域 里 ， 这 种 漫游 让 用 户 探 寻 各 种 可 能 的 方式 来 进 
行 定 制 ， 把 软件 个 性 化 ， 让 用 户 体验 到 量 吴 定做 的 感觉 。 

应 用 : ŽW Chrome 各 种 不 同 的 定制 方式 ， 通 过 修改 使 用 的 主 
题 、 扩 展 和 程序、 书签、 设置 、 人 快捷 键 和 用 户 概 要 等 来 获得 特定 的 用 户 
体验 。 

定制 Chrome 的 方式 

Chrome 中 的 个 性 化 漫游 测试 包括 以 下 几 项 。 

主题 : 使 用 主题 定制 Chrome OS 的 外 观 。 

扩展 程序 : 下 载 并 安装 一 些 Chrome 的 扩展 程序 ， 来 扩展 功能 和 改 
变 外 观 。 


Chrome 设 置 : 通过 改变 Chrome 的 设置 ， 来 获得 不 同 的 用 户 体 
验 。 

用 户 概要 隔离 : 验证 一 个 用 户 概 要 中 定义 的 偏好 选项 对 其 他 账号 
没有 影响 。 


这 个 附录 收录 了 一 些 Google 测 试 博客 上 发 表 过 的 文章 。 


C.1 使 用 BITE 从 bug 和 元 余 的 工作 中 解脱 出 来 


2011 年 12 月 12 日 星期 二 上 午 9:21 

http://googletesting.blogspot.com/2011/10/take-bite-out-of-bugs- 
andredundant.html 

作者 : Joe Allan 

在 Web 变 得 越 来 越 精简 的 时 代 ， 为 网 站 提交 bug 的 过 程 却 还 停留 在 
党 重 的 手工 方式 。 发 现 问题 ， 然 后 切换 到 缺陷 管理 系统 窗口 ， 填 写 问 
iyu, FIR bids, BORGIR, GRR, Z 
后 再 输入 一 些 描述 信息 。 整 个 过 程 殉 是 来 回 切换 : 从 提交 bug 的 工具 到 
收集 bug 信 息 的 工具 ， 再 到 高 亮 显 示 问 题 区 域 的 工具 。 这 一 切 会 把 测试 
人 员 的 注意 力 从 正在 测试 的 应 用 中 转移 走 。 

浏览 器 集成 测试 环境 (BITE) ， 是 一 个 开源 的 Chrome 扩展 

(http://code.google.com/chrome/extensions/index.html) ， 目 标 是 解决 网 

页 测试 体验 问题 〈 见 图 C.1) 。 这 个 扩展 必须 连接 到 一 个 服务 器 ， 这 个 
服务 器 提 供 你 的 系统 信息 和 bug 人 信息。 获得 这 些 信 息 以 后 ，BITE 有 能 
提交 bug 报 告 ， 选 择 相应 的 模板 ， 并 提供 相关 的 网 站 信息 。 


提交 bug 的 时 候 ，BITE 自 动 抓 取 屏幕 快照 、 BERA 问题 所 在 的 用 户 

界面 元 素 ， 然 后 附加 在 bug 报告 里 〈 见 图 C.2) ° 3X3979 fü 0i 4] PTT 

(a) 修复 这 个 bug 的 开发 人 员 提 供 了 丰富 的 信息 ， 可 以 帮助 他 们 发 
现 问题 的 根源 和 影响 因素 。 

复 现 一 个 bug 的 时 候 ， 测 试 人 员 往 往 需 要 努力 回忆 并 准确 记录 
每 一 步 操 作 。 而 使 用 BITE， 测 试 人 员 在 页 面 上 执行 的 每 步 操作 都 被 自 
动 记录 成 JavaScript 并 能 在 将 来 进行 回放 。 这 样 ， 工 程 师 就 能 快速 判定 
在 特定 的 环境 下 复 现 问题 的 步骤 ， 或 者 判断 某 个 代码 变更 是 否 修复 了 
特定 的 问题 。 
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A 图 C.1 加 入 到 Chrome 浏 览 器 的 BITE 扩 展 程序 的 菜 和 
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图 C.2 BITE 扩 展 程序 的 bug 提 交界 面 


在 BITE 中 还 包含 了 一 个 孙 制 /回放 (RPF) 控制 台 ， 它 将 用 户 的 手 
工 测试 上 自动化。 和 BITE 的 录制 功能 类 似 ，RPF 控 制 台 会 自动 生成 
JavaScript 代 码 ， 在 将 来 可 用 于 回放 操作 。 另 外 ，BITE 的 录制 回放 机 制 
还 是 容错 的 。UI 目 动 化 测试 有 时 候 可 能 失败 ， 而 这 时 候 往往 是 测试 代 
码 的 问题 而 非 产品 问题 。 这 种 情况 下 ， 当 BITE 回放 失败 的 时 候 ， 测 试 
人 员 可 以 立即 修复 这 个 问题 ， 他 只 需要 在 页 面 上 重复 操作 一 人 裔 就 行 
了 。 这 时 候 没 有 必要 去 改动 代码 或 者 提交 一 个 失败 报告 。 如 果 你 的 脚 
本 找 不 到 要 点 击 的 按钮 ， 你 只 需要 再 点 一 下 就 行 了 ， 脚 本 会 被 自动 修 
复 。 当 你 必须 要 修改 代码 的 时 候 ， 我 们 使 用 Ace (http://ace.ajax.org) 作 
为 内 联 编辑 器 ， 你 可 以 实时 修改 你 的 JavaScript 代 码 。 

来 访问 我 们 的 BITE M E m mi, m 
http://code.google.com/p/biteproject ° 欢迎 提交 反馈 意见 到 bite- 
feedback@google.com。 本文 由 Web 测 试 技 术 团 队 的 Joe Allan Muharsky 


> 


撰写 。 团 队 成 员 还 有 Jason Stredwick ` Julie Ralph ^ Po Hu All Richard 
Bustamante， 是 他 们 共同 创建 的 这 个 产品 。 


C.2 发 布 QualityBot 


2011 年 10 月 6 日 星期 四 下 午 1:52 

http://googletesting.blogspot.com/2011/10/unleash-qualitybots.html 

作者 : Richard Bustamante 

作为 网 站 开发 者 ， 你 想 知道 Chrome 的 更 新 在 到 达 稳 定 的 发 布 版 本 
之 前 ， 它 是 否 会 导致 你 的 网 站 不 可 用 吗 ? 你 是 否 曾经 期 望 有 一 种 简单 
的 办 法 ， 可 以 比较 你 的 网 站 在 Chrome 各 个 不 同 的 发 布 版 本 上 的 展现 ? 
现在 可 以 了 |! 

QualityBots (http://code.google.com/p/qualitybots/) 是 Google Web 测 
试 团队 为 Web 开 发 者 编写 的 一 款 新 的 开源 工具 。 它 是 利用 像素 级 DOM 
分 机 ， 针 对 Web 页 面 在 Chrome 不 同 发 布 版 本 间 的 比较 工具 。 当 一 个 新 
的 Chrome 版 本 发 布 的 时 候 ，QualityBot 可 作为 早期 警告 系统 报告 问题 。 
除 此 之 外 ， 它 还 帮助 开发 人 员 快 速 轻松 地 了 解 他 们 的 页 面 在 不 同 的 
Chrome 发 布 版 本 上 会 如 何 展现 。 

QualityBot 的 前 a 1j 建 于 Google AppEngine 

(http://code.google.com/appengine/) 之 上 ， 后 端的 网 页 抓 取 器 构建 于 

Amazon 的 EC2 服 务 之 上 。 使 用 QualityBot 需 要 一 个 Amazon EC2 的 账号 
局 动 虚 拟 机 ， 并 在 虚拟 机 上 使 用 不 同 版 本 Chrome X 5528 2:31 ALY OT 。 
这 个 工具 提供 了 一 个 前 端 页 面 ， 让 用 户 可 以 登录 并 提供 需要 抓 取 的 
URL， 图 C.3 显 示 了 最 新 一 次 运行 结果 的 显示 面板 ， 并 疝 下 外 取得 到 导 
致 问题 的 页 面 元 素 的 详细 信息 。 
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吉 果 示 例 (网 站 在 不 同 版 本 间 的 泻 染 差 异 被 显示 出 来 ) 


“< 人员 ， 可 以 用 这 些 结果 定位 到 由 于 在 不 同 Chrome 


言 染 差异 而 需要 注意 的 站 点 ， 也 可 以 找到 那些 在 不 同 
版 本 间 泻 染 结果 完全 相同 的 站 点 ， 并 快速 忽略 挤 ， 如 图 C 所 示 。 对 
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图 C.4 QualityBot 的 结果 面板 (eR — AI BM es E AP A] Chrome CAST] RT TEC ERU) 
我 们 希望 对 此 感 兴趣 的 网 站 开发 人 员 可 以 详细 研究 甚至 加 入 
Qualitybot 项 目 。 项 目 页面 地 址 是 http://code.google.com/p/qualitybots/。 
非常 欢迎 提交 反馈 信息 到 qualitybots-discuss@googlegroups.com ° 

本 文 由 Web 测 试 技术 团队 的 Ibrahim El Far 撰 写 ， 团 队 成 员 还 有 Eriel 
Thomas ^ Jason Stredwick、Richard Bustamante 和 Tejas Shah， 他 们 共同 
TETA m? 
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C.3 RPF: Google 


2011 年 11 月 17 日 星期 四 上 午 5:26 
http://googletesting.blogspot.com/2011/11/rpf-googles-record- 
playbackframework.html 


作者 : Jason Arbon 

在 GTAC(http:/www.gtac.biz/) 大 会 上 ， 很 多 人 问 到 采制 /回放 框架 
TE 浏览 器 集成 测试 环境 ( BITE ) 

http://googletesting.blogspot.com/2011/10/takebite-out-of-bugs-and- 
redundant.html) 中 运行 的 怎么 样 。 我 们 开始 对 自己 还 有 所 怀疑 ， 但 最 
后 还 是 决定 试 一 试 。 下 面 就 是 一 些 我 们 在 评 佑 RPF 歼 果 的 背景 ， 以 及 在 
这 个 过 程 中 发 生 的 故事 。 

我 们 的 想法 就 是 让 用 户 在 浏览 器 中 使 用 应 用 程序 ， 记 录 他 们 的 动 
作 ， 保 存 成 JavaScript 代 码 ， 以 后 回放 这 些 动作 的 执行 ， 用 作 回 归 测 试 
或 重 现 问题 。 大 部 分 测试 工具 ， 特 别 是 代码 生成 工具 ， 在 大 部 分 情况 
都 能 运行 鸭 不 销 ，RPF 也 不 例外 ， 在 大 部 分 时 间 里 都 运行 得 都 挺 好 ， 
但 这 还 远 远 不 够 。Po Hu 完成 了 一 个 可 用 的 实验 性 版 本 ， 然 后 决定 在 一 
个 真实 产品 上 试验 一 下 。Po 是 RPF 的 作者 ， 他 和 Chrome 网 上 商店 团队 
想 一 起 看 看 这 个 实验 版 本 能 帮 他 们 做 些 什 么 。 为 什么 选择 Chrome 网 上 
商店 (https://chrome.google.com/webstore/) WE? 因为 它 含 有 大 量 数据 张 
动 的 用 户 交 界面 、 身 份 认证 、 文 件 上 传 等 功能 ， 并 且 它 不 断 地 变化 ， 
已 有 的 Selenium (http://seleniumhg.org/) 脚本 经 常 失 效 : 这 可 是 Web 测 
试 上 的 一 个 大 难题 。 

在 把 这 个 工具 分 享 给 Chrome 网 上 商店 团队 的 测试 开发 人 员 Wensi 
Liu 之 前 ， 我 们 还 花费 了 不 少时 间 做 了 些 我 们 目 认 为 很 高 明 的 事 : 模糊 
匹配 和 联机 修改 测试 脚本 。Selenium 很 有 用 ， 但 很 多 团队 后 来 都 花费 
了 大 量 的 时 间 来 维护 他 们 最 初 建立 的 Selenium 回归 测试 用 例 集 ， 原 因 
是 要 适应 被 测 产品 持续 不 断 的 变化 。 除 了 像 现 有 的 Selenium 上 自动 化 测试 
那样 ， 当 某 个 元 素 找 不 到 的 时 候 和 直接 失败 以 外 ， 也 除了 手工 DOM 检 测 

(更 新 Java 代 码 然后 重新 部 署 、 重 新 运行 、 重 新 修改 测试 代码 ) DP, 
能 否 让 测试 脚本 一 直 保 持 运 行 ， 使 得 更 新 代码 像 移动 和 点 击 姐 标 那 样 
简单 呢 ? 我 们 将 跟踪 所 有 被 记录 元 素 的 属性 ， 当 脚本 执行 的 时 候 ， 我 


们 会 计算 被 记录 的 属性 和 取 值 与 运行 时 找到 的 元 隶属 性 和 取 值 的 匹配 
程度 。 如 果 不 是 完全 匹配 ， 但 是 在 一 定 的 容错 范围 内 (如 只 有 它 的 父 
节点 或 类 属性 变化 了 ) ， 我 们 会 记录 一 条 警告 日 志 信息 ， 然 后 继续 保 
持 这 个 测试 用 例 的 执行 。 如 果 下 一 个 测试 步骤 运行 良好 ， 那 这 个 测试 
就 会 继续 执行 直到 测试 通过 ， 只 留 下 警告 日 志 人 信息。 处 于 调试 模式 
时 ， 这 些 测试 会 暂停 并 允许 测试 人 员 通 过 BITE 的 界面 ， 使 用 一 些 鼠 标 
移动 和 点 击 操作 来 快速 更 新 匹配 规则 。 我 们 认为 这 会 降低 测试 失败 的 
误 报 率 ， 并 让 脚本 的 更 新 速度 更 快 。 

我 们 错 了 ， 但 错 得 很 值得 ! 

我 们 让 Liu Wensi 独 目 使 用 RPF 儿 天 以 后 跟 他 进行 了 交流 。 他 已 经 
用 RPF 重 新 创建 了 他 的 大 部 分 Selenium 测 试 集 ， 但 这 些 测 试 已 经 开始 因 
为 产品 变化 而 失败 了 (在 Google， 测试 人 员 要 跟 上 开发 人 员 改 变 代码 
的 频率 可 真 不 容易 ) 。 但 他 看 起 来 还 很 高 兴 ， 所 以 我 们 问 他 ， 我 们 新 
的 模糊 匹配 模式 工作 的 好 不 好 。Wensi 当时 说 , MEITA? 那个 呀 。 不 
知道 。 我 真 没 怎么 用 到 .………” 我 们 开始 考虑 是 不 是 我 们 的 更 新 界面 不 好 
用 ， 或 者 不 容易 找到 ， 或 者 有 问题 不 能 用 了 。 可 是 wensi 告 诉 我 们 当 测 
试用 例 失 败 时 ， 重 新 永 制 一 遇 脚 本 要 容易 得 多 。 他 反正 需要 重新 训 试 
这 个 产品 ， 那 为 什么 不 就 在 进行 手工 测试 验证 功能 的 时 候 把 录制 打 
开 ， 除 去 原来 的 测试 代码 ， 然 后 把 这 个 新 孙 制 的 脚本 存 下 来 用 于 以 后 
的 回放 呢 ? 

使 用 RPF 的 第 一 个 星期 里 ，Wensi 发 现 了 以 下 这 些 。 

网 上 商店 中 77% 的 功能 通过 RPF 进 行 了 测试 。 

通过 这 个 RPF 的 实验 版 本 生成 回归 测试 脚本 ， 比 原来 用 
Selenium/WebDriver 编 写 测试 脚本 速度 大 约 快 了 八 倍 。 

RPF 脚 本 发 现 了 六 个 功能 回归 问题 ， 以 及 其 他 很 多 间歇 性 的 服务 器 
Ag A: DAC ° 


像 登 录 这 样 的 一 些 通用 步骤 ， 应 该 被 保存 成 可 复 用 的 模块 (我 们 
后 来 开发 了 支持 这 项 功能 的 版 本 ) 。 

RPF 能 在 Chrome OS 上 工作 ， 这 点 是 Selenium 不 能 完成 的 ， 因 为 
Selenium 需 要 运行 客户 端 二 进 制 代码 。 

通过 BITE 提 区 的 pug 有 一 个 简单 的 链接 ， 通 过 这 个 链接 开发 人 员 可 
以 在 自己 的 机 器 上 安装 BITE 并 重新 执行 和 复 现 问题 。 不 再 需要 手工 编 
写 重 现 步骤 ， 这 很 酷 。 

Wensi 希 望 RPF 能 文 持 各 种 浏览 左 。 它 现在 只 文 持 Chrome， 但 是 人 
们 也 会 偶尔 通过 其 他 浏览 器 访问 这 个 网 站 。 

我 们 觉得 这 很 有 意思 ， 并 且 继 续 开发 。 但 是 在 短期 内 ，Chrome 网 
上 商店 的 测试 还 是 恢复 使 用 Selenium， 因 为 剩 下 的 23% 的 功能 需要 一 些 
本 地 Java 代 码 来 处 理 文件 上 传 和 安全 检 出 等 场景 。 事 后 看 来 ， 在 服务 器 
冰 增 加 一 些 可 测试 性 的 工作 ， 束 可 以 通过 一 些 客户 端的 AJAX 调 用 来 解 
决 这 些 问题 。 

我 们 在 一 些 大 网 站 上 检验 了 RPF 的 工作 情况 。 测 试 结果 可 以 在 
BITE 项 目的 网 页 上 找到 ( https://docs.google.com/spreadsheet/ccc? 
key=0AsbIlZrIYVyFOdEJGQV91WW9McW1fMjIt 
RmhzcWkyanc#gid=6) 。 这 个 结果 现在 有 些 过 时 了 ， 在 那 之 后 已 经 有 
了 很 多 改动 ， 但 是 你 可 以 感觉 一 下 哪些 东西 工作 的 不 好 。 现 在 可 以 把 
它 当 做 Alpha 版 本 来 看 。 在 大 多 数 网 站 上 它 工 作 的 很 好 ,但 是 还 有 一 
些 严 重 的 边 绿 情况 处 理 的 不 够 好 。 

Joe Allan Muharsky 在 BITE 的 用 户 体 验 设计 方面 做 了 很 多 工作 ， 把 
我 们 原来 案 拙 的 以 开发 人 员 和 功能 为 中 心 的 用 户 体 验 转变 成 直观 的 设 
计 。Joe 的 重点 是 保持 用 户 界面 精简 ， 直 到 必要 的 时 候 才 显示 出 来 ， 而 
且 让 各 种 东西 都 尽 可 能 是 自发 现 和 易 获 取 的 。 我 们 还 没有 进行 正式 的 
可 用 性 研究 ， 但 我 们 做 了 多 次 实验 ， 提 供 最 精简 的 使 用 说 明 ， 让 外 部 
众 包 测试 人 员 能 使 用 这 个 工具 ， 也 包括 让 内 部 试用 用 户 使 用 这 个 工具 


为 Google 地 图 产品 报告 缺 隐 ， 这 些 用 户 都 没有 对 工具 产生 什么 困惑 。 
一 些 RPF 的 高 级 功能 隐藏 得 有 点 儿 深 ， 可 能 有 一 些 复活 和 彩蛋 的 感觉 ， 
但 其 基本 的 录制 和 回放 模式 对 人 们 来 说 还 是 很 直观 的 。 

RPF 已 经 从 中 心 测试 团队 的 实验 性 项 目 正式 发 展 成 为 Chrome 团队 
的 一 部 分 ， 它 被 常规 地 用 来 进行 回归 测试 的 执行 。 他 们 也 密切 天 注 使 
用 这 个 工具 的 非 代 码 编写 人 人群， 那些 使 用 BITE / RPF 生 成 回归 脚本 的 外 
包 测 试 人 员 。 

请 加 入 我 们 并 共同 维护 BITE /RPF (http://code.google.com/p/bite- 
project/) ， 请 善待 Po Hu 和 Joel Hynoski， 他 们 在 Google 负 责 把 这 个 项 目 
回 前 推进 。 


C.4 Google 测 试 分 析 系 统 (Google Test 
Analytics) 一 一 现在 开源 了 


2011 年 10 月 19 日 星期 三 下 午 1:03 

http://googletesting.blogspot.com/2011/10/google-test-analytics-now- 
inopen.html 

作者 : Jim Reardon 

测试 计划 已 死 ! 

和 希望 如 此 。 在 上 周 的 STAR 会 议 上 ，James Wittaker 回 一 帮 专 业 的 测 
试 人 员 问 起 测试 计划 。 他 的 第 一 个 问题 是 “这 里 有 多 少 人 在 写 测试 计 
划 ”。 了 瞬间 有 80 个 人 举 手 ， 占 了 屋子 里 人 的 绝 大 多 数 。 当 他 再 问 “ 那 你 
们 中 有 多 少 人 号 冠 二 周 以 后 还 会 用 刘 这 坚 测 试 计划” 了 时 具有 三 个 人 举 
手 o 
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快 会 被 废弃 掉 的 文档 ， 这 可 真是 一 项 很 大 的 时 间 消 耗 。 

我 们 在 Google 的 一 些 人 在 着 手 创建 一 种 方法 ， 可 以 取代 测试 计 
划 。 它 应 该 是 全 面 的、 快速 的 、 可 操作 的 ， 而 且 对 项 目 要 持续 有 效 。 
过 去 的 儿 周 时 间 里 ，James 已 经 发 表 了 有 天 这 一 方法 的 几 篇 博客 ， 我 们 
称 为 ACC， 它 是 一 个 工具 ， 把 软件 产品 分 解 成 逻辑 相关 的 子 模块 。 通 
过 这 种 方法 ， 我 们 创造 了 “10 分 钟 的 测试 计划 ”( 它 只 需要 30 分 钟 )。 

1.20 

ACC 方法 会 创建 一 个 矩阵 ， 完 整地 描述 你 的 项 目 ， 在 Google 内 部 
的 一 些 项 目 使 用 这 个 方法 ， 发 现 了 一 些 在 传统 测试 计划 中 缺失 的 窗 盖 
区 域 。 

2. 快 速 

ACC 方 法 非常 快 ， 我 们 为 复杂 的 项 目 创 建 ACC 分 解 只 需要 不 到 半 
小 时 ， 这 比 写 一 个 常规 的 测试 计划 快 得 多 。 

3. 可 操作 

作为 ACC 分 解 的 一 部 分 ， 你 的 应 用 程序 功能 的 各 种 风险 是 被 评估 
的 。 有 了 这 些 结果 ， 你 就 得 到 了 一 份 项 目的 热点 图 ， 显 示 了 风险 最 高 
的 区 域 ， 那 就 是 应 该 多 人 花 一 些 时 间 仔 细 测 试 的 地 方 。 

4. 持 续 有 效 

我 们 已 经 建立 了 一 些 实验 性 的 功能 ， 通 过 引入 进行 中 的 数据 ， 使 
你 的 ACC 测 斌 计划 动态 更 新 。 我 们 加 入 诸如 缺陷 和 测试 履 盖 度 等 数据 
言 号 ， 量 化 项 目 进行 中 的 风险 。 

今天 ， 我 很 高 兴 的 宣布 我 们 的 测试 分 析 系 统 开 源 了 

(http://code.google.com/p/test-analytics/) ， 它 是 Google 开 发 的 一 个 工 

具 ， 简 化 了 ACC 的 生成 。 

测试 分 析 系 统 主要 有 两 个 部 分 : 首先 也 是 最 重要 的 ， 它 是 一 个 分 
步骤 地 创建 ACC 和 矩阵 〈 见 图 C.5) 的 辅助 工具 ， 相 比较 以 前 我 们 在 没有 


文 个 工具 的 时 候 用 的 电子 表格 ， 它 更 快 、 更 简单 ( 见 图 C.6) 。 它 还 提 
供 了 对 ACC 和 矩阵 和 软件 功能 风险 的 可 视 化 功能 ， 这 是 使 用 简单 的 电子 
表格 很 难 或 不 可 能 做 到 的 ， 如 图 C.7 所 示 。 


testlanalyties 

_Simpie Web Stor +] Simple Web Store 
Project Spec 

About Project Attributes 

Attributes 
Components 
Capabilities 
Risk 
Overview 
Imported Data Secure 
Tests ; 
Bugs 
Checkins - - - 
Data Settings owner: margo@example | tester: quentin@example 


Data Sources i 
- The tests performed for this attribute are sufficient to verify its operation 
Data Filters 


jim@amusive.com | Send Feedback | Sign out 


Attributes are ways a marketer would describe your application, such as "Fast" or "Secure". 
Attributes in the ACC model allow you to map Capabilities to business requirements. Learn more 


Simple 


owner: alaska@example 


The tests performed for this attribute are sufficient to verify its operation 


Fast 


This should be speedy. 
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图 C.5 在 Test Analytics 中 定义 一 个 项 目的 特质 


Project Spec 
About Project 
Attributes 
Components 
Capabilities 
Risk 
Overview 
Imported Data 
Tests 
Bugs 
Checkins 
Data Settings 
Data Sources 
Data Filters 


testanalytics jim@amusive.com | Send Feedback | Sign out 
| Simple Web Stor B 


Simple Web Store 


Capabilities 


Capabilities are what your application actually does; they are just like features, except they are tied to 
a specific Attribute and Component pair. Learn more 


- Capabilities by Attribute and Component 


Secure Simple Fast 


Search 1 1 1 
Social |. 2 | 1 | 1 
Sales Channel 1 | 1 | 2 
Shopping Cart | 1 | 1 | 1 


Social is Secure 


User purchases not revealed outside granted 
permission. 


User social graph not disclosed without permission. 


A 图 C.6 在 Test Analytics 中 显示 项 目的 能 


(an eme fre 
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Known Risk 


This shows the Total Risk to your application, taking into account any Risk Sources as well as 
Mitigation Sources that are checked below. Learn more 
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User purchases not revealed outside granted permission. 


r ial graph not discl with ermission. 
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第 二 个 部 分 使 ACC 计 划 的 风险 和 矩阵 能 够 自动 更 新。 要 做 到 这 一 
点 ， 测 试 分 析 系 统 从 你 的 项 目 中 导入 质量 信号 : bug、 测 试用 例 、 测 试 
结果 ， 以 及 代码 变化 。 通 过 导入 这 些 数据 ， 测 试 分 析 系 统 让 你 可 以 可 
视 化 地 显示 风险 ， 它 不 再 是 估计 或 猜测 ， 而 是 基于 定量 数据 分 析 的 结 
果 。 如 果 你 的 项 目 模 块 或 者 功能 发 生 了 大 量 代码 变更 ， 或 者 还 有 很 多 
缺陷 没有 修复 ， 抑 或 是 还 没 通过 验证 ， 那 相应 区 域 的 风险 就 会 升 高 。 
工具 的 测试 结果 部 分 可 以 提供 化 解 这 些 风险 的 方法 如果 对 某 区 域 执 
行 了 测试 并 导入 了 测试 通过 的 结果 ， 那 该 区 域 的 风险 束 会 降低 。 

这 一 部 分 仍然 是 实验 性 的 。 我 们 还 在 调试 基于 这 些 输入 信号 ， 如 
何 计算 才能 最 准确 地 确定 风险 ， 如 图 C.8 所 示 。 然 而 ， 我 们 希望 尽早 


地 发 布 这 个 功能 ， 这 样 可 以 从 测试 社区 获得 这 个 功能 的 使 用 反馈 ， 然 
后 不 断 迭 代 让 这 个 工具 更 加 有 用 。 如 有 果 能 有 更 多 的 输入 信和 号 也 会 更 
好 ， 如 代码 复杂 度 、 静 态 代码 分 析 、 代 码 履 盖 度 、 外 部 用 户 反馈 等 ， 
这 些 都 是 我 们 想到 的 可 以 加 入 的 更 高 层次 的 动态 数据 。 
你 可 以 体验 一 下 托管 版 本 (htpz//goo.gl/Cv2QB) ， 查 看 或 导出 代 
码 (  http://code.google.com/p/test-analytics/ — ) 和 x mJ 
(http://code.google.com/p/test-analytics/wiki/AccExplained) ° 3445, 4 
果 你 有 任何 意见 ， 请 让 我 们 知晓 。 我 们 会 在 这 个 Google Group 讨论 组 
(http://groups.google.com /group/test-analytics-discuss) 分 享 我 们 已 有 的 
测试 分 析 系 统 的 使 用 经 验 并 积极 解答 问题 。 
测试 计划 永生 ! 
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图 C.8 在 Test Analytics4 
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